Na minha opinião isso não é ser grosseiro.
Tem que normalizar dizer não para as pessoas

ou no seu caso porque eu quis sem precisar dar explicações.