Geralmente eu escuto de mulheres e gays que sou cafajeste

Eu não costumo fazer julgamento da personalidade de outras pessoas baseando-se exclusivamente na aparência,mas muitas pessoas já fizeram isso comigo. Muitas pessoas já me disseram que eu tenho cara de Geek/nerdola, sendo que eu nem tenho o costume de estudar e nem de consumir o tipo de cultura que esses grupos geralmente curtem.
Também já me disseram que eu tenha cara de Safado/cafajeste, sendo que em toda a minha vida eu nunca me envolvi casualmente com ninguém.
Eu realmente queria saber o que se passa na cabeça das pessoas que fazem esse tipo de julgamento...