Se as pessoas falassem que você é homossexual mesmo você não sendo, o que fariam?

Familiares, colegas, pessoas da rua, enfim.
Tem muita gente que tenta ofender outra pessoa chamando de homossexual mas não sei se a pessoa se sentir ofendida ela mesma está sendo homofóbica. Eu convivo com isso há anos, no meu caso sou homem e extremamente solitário, daqueles que nem amigos tem, daí as pessoas já desconfiam.