Por que a referência de amor de algumas pessoas vem de abandono e rejeição?

Parece que o gostar/amar de algumas pessoas está nas pessoas que os abandonaram/rejeitaram um dia. Não estou fazendo uma crítica, nem quero tomar isso como uma verdade. Mas eu nunca vi alguém falar de um amor que foi mais bom do que ruim.
Eu lembro mais de quem me rejeitou, mas minha referência ta em uma pessoa que deixei por insegurança, sabia que ali tinha sentimentos puros e a errada fui eu...
Qual a opinião nesse caso?