Nao necessariamente, mas poderia crescer menos.

Vamos pensar
10 homens e 10 mulheres
10 homens correm atras e

somente 1 mulher aceita
dessa 1 mulher, pode nascer de 1 a 5 filhos, de acordo com sua vontade
10 homens correm atras e 5 mulheres aceitam
dessas 5, podem nascer de 1 a 5 cada par
agora, vamos ao contrario
10 homens e 10 mulheres
1 homem aceita e 5 mulheres aceitam
dessas 5 mulheres, 5 podem engravidar e ter de 1 a 5 filhos, nao necessariamente de 1 vez

veja que se nao houver homens, numa situacao em que a reproducao seja estritamente tradicional, a populacao caira drasticamente
se houver 10 homens para 1 mulher, ainda sera possivel manter a especie com quantidades razoaveis
mas, se houver 1 homem para 10 mulheres, sera possivel manter a especie com quantidades maiores

entao, nao... nao necessariamente o homem ao desistir de investir em relacionamento, acarretara na sociedade a diminuicao da populacao