Conversa com ele, é o fundamental em um relacionamento, a comunicação.
Se já conversou e não

resolveu, termina.
Se não quer dar satisfação, que fique solteiro, aí não precisa dar.