Sempre é pela vestimenta, independente da cor. É preconceito? Sim. Mas, o "pré conceito" é

construído socialmente a partir das nossas vivências.
Um assaltante tem características parecidas, então acaba associando a roupa, o jeito de andar, de falar.