Bem, com base em seu relato, aparentemente ele só te deseja para sexo fácil, talvez para esquecer a ex, ou pq não quer saber de relacionamento a sério no momento.
Se vc não ver problemas em ser apenas uma amante casual, continue assim.
Se vc pretende ter alguma a sério com esse cara, é melhor esquecer.
Você tem que saber o que dele. Se for só um casual pra superar o ex, da pra manter assim. Caso contrário chama ele pra conversar e alinha as expectativas, antes de se envolver muito.