Depois de tomar uma dessa, nem tem mais no que pensar.
Talvez você estivesse interpretando a

"relação" de vocês muito equivocadamente. Para você devia ser algo maior do que pra ele.
Para ele mandar uma resposta dessa na lata, quer dizer que ele não está se importando para o que você pensar dele.
Mesmo que ele tivesse um interesse maior por você, e se sentisse desconfortável em te responder isso (afinal, pode ser que ele simplesmente não quisesse dar satisfação mesmo) mas haveria mil formas de responder isso de uma maneira mais educada. Se ele falou assim, é porque "está se lixando" para a conversa de vocês.
Não há justificativa pra grosserias. Mesmo que ele ache isso normal, foi um sinal enorme da forma como ele lida com algo que se sinta desconfortável. Fuja disso e se poupe de mais momentos assim, de falta de tato para lidar com as pessoas.