Ao meu ver, é algo como o @GauchoPereira explicou.
Se zoam meu nariz por exemplo eu fico mal, fico mega desconfortável. Isso pq eu detesto meu nariz, é algo que traz muita insegurança e aí não consigo entrar na brincadeira, tento disfarçar e fingir que não ligo mas acho que todos percebem.

Mas se zoam meu jeito de falar, de andar, ou até alguma "burrice" que eu tenha falado eu nem ligo, acho engraçado, dou uma zoada de volta e entro na brincadeira, não me atinge, não me causa insegurança...entende?!
É uma questão de ser ou não inseguro com o que estão zoando..