Como é que você sabe quando já está na hora de deixar aquele emprego?

Depende, se o ambiente é tóxico, já é um bom motivo, ao menos que seja seu primeiro emprego e você precise de experiência na função.
Outros motivos é quando você já cresceu e não tem mais oportunidade nesse empresa, quando seu conhecimento/salário fica estagnado.