Medo de rejeição.O homem é rejeitado varias vezes na vida,uma hora cansa,e ele ve que

não vale a pena.

Nesse exemplo que você deu,falta iniciativa de sua parte,se o cara flertou,e você não deu sinais de interesse,é óbvio que ele vai partir pra próxima.