Não te responde?

Difícil ter encontro com alguém que não responde você, mas honestamente, essa

iniciativa deve vir dele.
Você está desenvolvendo sentimentos pelo cara, então deve parar imediatamente de ficar com ele, e colocar uma condição para continuar: Um namoro.

Não precisa esconder as coisas, seja honesta consigo. Não o procure mais. Ele é seu ficante, não há um compromisso, então ele não te deve satisfação. Não é seu namorado, é apenas um cara aí que você dá uns pega de vez em quando. Mas pra você não dá pra ser apenas isso, pois desenvolveu sentimento, então, deve falar com ele como se sente e enfim, só continuar desenvolvendo intimidade se rolar algo sério e caso ele não quiser isso, você vai seguir sua vida e deixar ele pra lá.