Espirito de pobre é modo de dizer, é quando a pessoa não perde a baixaria

independente do ambiente, ou seja, é algo que não sai dela, já faz parte da pessoa.

Agora, tem a expressão ao contrário, pobre de espírito, que pode significar simplicidade/humildade.