Bem, com base em seu relato, aparentemente ele só te deseja para sexo fácil, talvez

para esquecer a ex, ou pq não quer saber de relacionamento a sério no momento.
Se vc não ver problemas em ser apenas uma amante casual, continue assim.
Se vc pretende ter alguma a sério com esse cara, é melhor esquecer.