Se o homem não fez nada de mais, somente pelo fato de se sentar, sim

é errado.
Por isso quando eu entro, prefiro sentar já ao lado de quem não é estranho do que me sentar sozinha e vir o estranho se aproximar.