Existem alguns pontos que precisam ser bem analisados:

1) o fato de um homem continuar virgem

até hoje não tem nenhuma relação com o fato de "não sentir dor na primeira vez". Ele continua virgem porque, obviamente, nunca sentiu vontade de ficar querendo fazer sexo com qualquer pessoa que aparece na frente dele. Reflita, se todos os homens realmente quisessem perder a virgindade, eles iriam numa festa, pagariam alguma garota de programa, algo do tipo, e resolveriam o problema;
2) Muitas mulheres perdem a virgindade a curto prazo, mas isso ocorre porque elas ali tiveram o desejo contrário ao de muitos rapazes mais adultos. No entanto, você esquece que existem mulheres virgens também e elas não continuam virgens somente pelo fato de "doer" e terem medo de "engravidar", mas porque elas também não querem banalizar o ato sexual com qualquer pessoa.

Conclusão: mulheres perdem a virgindade precocemente diante de homens que estão cientes de quererem transar, enquanto que os demais homens e mulheres continuam virgens simplesmente porque não querem banalizar esse momento a curto prazo. No final, ambos tão pouco se lixando se a primeira vez vai ser frustrante ou não, apenas não querem fazer o que todo mundo já faz.

Acredito que esclareceu as suas dúvidas!