Depende de quem é o homem e de quem é a mulher e em qual

fase da vida estão. Uma pergunta genérica não esclarece muita coisa.

Em uma sociedade saudável, ambos.
Em uma sociedade doente, naturalmente é mais difícil saber quem tem mais autoestima.