Eu poderia ter agido melhor? E como?

Havia cinco pessoas no elevador: eu, meu irmão gabriel (12 anos) e três amigos de baixa intimidade dele da mesma idade. Em um momento um deles falou "Boy, gabriel é muito chato" . Ele falou isso enquanto os pirralhos olhavam para mim, esperando uma reação. Meu irmão zoou de volta. Eu percebi que aquele rapaz tava praticamente me desafiando, afinal, zoou o amigo na frente do irmão grande. Eu simplesmente NÃO GOSTO de conversar com criança de jeito nenhum, acho ridículo. Todavia, o moleque tava praticamente me desafiando ali. Eu acho muito escroto discutir com criança, mesmo querendo, pela diferença de maturidade etc. Resultado: eu fiquei olhando para os moleques rindo, com cara de confuso pela gratuidade da ofensa e eles ficaram "eita, oq ele fará?". Ainda bem que meu irmão soube se defender. Sou um cara passivo e odeio isso, mas eram crianças...