Vocês terminariam um relacionamento por causa da família de vocês?

Minha família é muito complicada, estressante, não vivo bem, já a família do meu namorado é muito tranquila, todo mundo se gosta e sempre me chamam pra viajar com eles, aproveitar, só que nunca vou e nisso ele se sente muito triste e eu hipotente.
Já estou pensando nessa possibilidade dele ser feliz, pois vivo trancafiada em casa, não posso sair quase nunca, apenas final de semana, por 4h, pq tenho que ficar limpando, cuidando do meu irmão.
Sou maior de idade.
Me deem um conselho