Porque com mulheres é mais frequente. Pelo menos é denunciado com mais frequência, enquanto que

com homens ainda é um tabu. Veja bem, os próprios homens acham que outro cara que sofre assédio por uma mulher e não gosta provavelmente é viado (algumas mulheres também pensam assim), pensam que um homem que sofre assédio perde a masculinidade de certa forma.
De qualquer forma, o assédio cometido contra as mulheres são mais frequentes e muitos são vistos como: olha a roupa que ela estava usando, ela pediu por isso quando bebeu, olha a hora e onde ela estava... Isso sem contar do assédio no trabalho que é bem mais comum contra as mulheres também. Tudo é sempre visto como culpa da vítima e muitos estão trabalhando para mudar esse tipo de pensamento.