Depende, ele usou isso como justificava de algo? Tipo, por ter demorado te responder? Se

sim, provavelmente não há nada demais.

Ele disse isso sem contexto nenhum? Aí eu já penso que pode ter alguma conotação sexual.