Se o motivo para querer desmarcar é a falta de interesse, não precisa necessariamente desmarcar.

Eu já apareci em encontro e não tinha interesse de prosseguir, porém apareci para esclarecer as coisas e dar uma satisfação por respeito a pessoa somente.

Seja cordial: não precisa ser depreciativa por não querer outro envolvimento;
Seja clara e educada: não use termos ambíguos por vergonha, afinal não é um casamento, você não é a pior pessoa do mundo por não querer continuar;

Não aceite que ele pague seu consumo: isso é um tipo de liberdade que deve ser restrita entre pessoas com algum relacionamento estabelecido, fora isso, pode transparecer que você está tentando tirar alguma vantagem.
Evite proximidade física: não prolongue nenhum cumprimento com contato físico: se possível, tenha comportamento executiva ( só aperto de mão e sente-se com uma certa distância)