Você pode fazer isso da forma mais empática e carinhosa possível, mas isso não irá

garantir que o outro se magoe porque é algo que também depende dele e das expectativas que possivelmente tenha criado.
Apenas seja responsável com suas escolhas, seja honesta, e se ainda assim ele se magoar, poderá ao menos ter a consciência tranquila de que não brincou com os sentimentos de ninguém.