É como você disse, o ego do ser humano.
Porém, você precisa ter consciência que a

outra pessoa merece ser feliz.
Se não for com você, então que seja com outra.
Não podemos ser egoístas.