Não tem pq ter vergonha disso e é muito fácil sair de uma situação assim.
1º

que eu não tenho o costume de receber gente em casa sem avisar antes que estão vindo ou sem que eu os convide.
2º quando alguém chega em casa sem avisar, eu já logo falo que nem vou chamar pra entrar pq estou fazendo faxina. Se quiser entrar vai ter que ajudar.