Se vc não quer magoar ele e continuar, vc vai acabar se magoando e eu

acho isso pior. Então senta e conversa com ele de uma maneira amigável falando que não quer