Essa pergunta parece ingênua, trabalhar em qualquer lugar é seguro desde que seja um local seguro. Se só tem mulher, e você trabalhar, trabalho é trabalho, tipo uma lanchonete, 10 mulheres e só você homem.
Como assim, "casa"? Que tipo de serviço é esse? Geralmente é seguro, sim, porque colegas não costumam se gostar e, consequentemente, não costumam se unir a ponto de se voltarem contra você. Conviver com muitas colegas mulher pode ser um porre, mas dificilmente é arriscado.