Se for uma pessoa que você não quer magoar o melhor é dizer o motivo

para você não ser desrespeitoso. A pessoa vai ficar magoada mais irá saber o motivo.
Se não, vai se distanciando aos pouco.