Nesse caso, eu acredito que ele tenha algum sentimento de posse sobre você. Ele talvez

não queria nada sério contigo, mas, ao mesmo tempo, acha que você deve ser dele. Coisa de gente manipuladora.