A expressão é racista mesmo, pq atrela o negro como sendo algo ruim. Assim como

falar "humor negro" "não sou tuas negas" "inveja branca" etc