Isso não é algo que você diz, "ei eu só quero sexo casual"...

Você pode

dizer que não que nada sério no momento, que isso não faz parte dos seus planos e que não é para ninguém criar expectativas, se ele falar "ok", vai lá e faz!