Não é uma questão de deixar ou não e sim de falta de confiança. E

se a pessoa não confia, então termina e fique sozinha. Isso fala mais a respeito dele do que de você ou da pessoa que está com ele, é uma insegurança dele misturado com medo e paranoia eu diria. Sendo assim, eu conversaria seriamente com ele e colocava os pingos nos "i": "Ou vc confia ou não confia pô".