Aparentemente ele quer te manter por perto, mas talvez não tenha coragem ou intenção em

se abrir. Situação complicada, mas você só vai resolver quando entender o que se passa na cabeça dele. Enfim, diálogo.
Se ele não mudar, é melhor se afastar. Antes que os sentimentos cresçam e a mágoa também.