Namorar ou "ficar" com pessoas do trabalho pode ser uma péssima ideia?

Pessoas do meu trabalho dão em cima, porém sempre recuso, inclusive meu no meu trabalho a fama é de que vc só sobe de cargo se vc aceitar sair com as pessoas, como lhe dar em ambiente de trabalho assim, onde ninguém respeita ninguém?