Como pedir ao namorado para dar uma afastada da casa da mãe dele sem parecer que quero afastá-lo dela?

Bom, namoro, vai fazer dia 10/11, um ano e nove meses, e venho tendo um pequeno problema em meu relacionamento. Meu namorado fica muito na mãe dele, ele mora sozinho de favor na casa da avó. No entanto, como trabalha muito e mora sozinho, ele lava roupas e faz todas as refeições dele na casa da minha sogra, tanto que é ele quem compra a comida todos os meses. O problema é que eu vou até a casa dele para vê-lo na sexta-feira à noite e também no sábado à noite e ele vai na casa da mãe dele jantar sempre, e chegamos na casa dele às 22:00 da noite, quando ele termina de jantar. A mesma coisa se repete no domingo, nós não saímos de casa e ele toma café da manhã, lava roupas, almoça e fica o dia todo na mãe dele até 6 horas da tarde, quando finalmente vamos para casa dele. Essa situação vem me incomodando, mas quero falar com ele de uma maneira que não pareça que estou querendo afastá-lo da mãe dele. Que dica me dão para inserir esse assunto em uma DR?