Isso não é diferença.

É até pouca a diferença, se for ver.

Sempre me relacionei

com mulheres mais novas do que eu, nunca tive problema, só se eu não quisesse mesmo.

E em matéria de relacionamento, não existe cartilha, manual, etc, que diga qual a idade ideal para uma pessoa se relacionar.

Se ele quisesse mesmo, idade não seria um empecilho.

Se ele está te 'despachando' dessa forma, recomendo desistir e partir para outro, afinal, não vale a pena implorar tempo ou atenção, de quem não quer te oferecer isso.