O fato de ele querer sexo com você todas as vezes que se encontram, NÃO

SIGNIFICA que a única coisa que ele queira com você seja sexo.
Homem não pensa só em sexo, mas passamos boa parte do nosso tempo pensando em sexo, há excessões, óbviamente, mas geralmente, pensamos em sexo compulsivamente.
Como você disse, ele fica chateado, mas não te trata mal por isso, um monte de gente aqui pode negar, mas esse é um assunto recorrente em mesas de buteco: "fico irritado quando tento sexo e ela não quer".

E isso não é, nem de longe, um sinal de que a ÚNICA coisa que queremos com vocês seja sexo, não mesmo. Já ouvi isso de homens casados há tempos, de homens que namoravam e estavam irritantemente apaixonados.
Talvez a sensação de termos sexo recusado, seja a mesma que vocês sentiriam ao terem romantismo, carinho ou afeto recusados.
Homens e mulheres não são exatamente iguais, apenas isso. Não culpe o rapaz por isso.