Não sei como deixar claro que não quero nada com ele

Conheci um rapaz, adoro conversar com ele, mas é só isso. Já desmarquei muitas vezes, mas ele sempre acha que vamos sair e eu não quero nada disso. Fico com dó de falar, mas não sei o que fazer ou falar que não estou nada a fim dele :/
O que posso fazer ?