Não tem muito o que fazer, o melhor é se afastar mesmo. Se vocês continuarem

conversando normalmente, ele não vai conseguir te esquecer e vai ficar alimentando esse sentimento. Sempre vai achar que pode ter uma chance, que você pode mudar de ideia, etc. Se você não quer ver ele sofrendo, é melhor dar um tempo.