Pelo mesmo motivo que vocês não gostam de homem baixo, vocês consideram homem baixo como

um homem incompleto, como alguém que não é másculo, que não é homem de verdade.

No caso, consideram mulher alta masculina demais, ou seja, não consideram mulher de verdade, não tem feminilidade.

Claro, que existem as exceções assim como também existem no caso dos homens baixos que conseguem burlar a altura e pegar muita mulher, existem as mulheres altas que pegam muitos homens.