Não acho. Cada um com sua preferência na hora de se relacionar.
O tempo todo estamos

“selecionando” as pessoas mentalmente, é normal e necessário, até pq seria inviável se relacionar com todas as pessoas do mundo.
Só avalie se a altura é, de fato, algo importante a ponto de cortar todo o resto ou desbalancear o que tinha atraído inicialmente.