Depende do material da casa e do terreno em que está. Uma casa de madeira perto de uma região que alaga facilmente, é fácil do vento arrancar as paredes e da casa perder o equilíbrio quando a água infiltra, deixando a terra mole.
Agora se for de cimento e numa região mais seca, os telhados e vidros vão sofrer mais impacto.
Quanto ao prédio, o raciocínio é parecido, com exceção das paredes nunca serem de madeira. Como ele é mais pesado, a gravidade "segura" mais ele do que uma casa, então a estrutura resiste mais.
Se a construção dele foi mal planejada, ou há defeitos em pontos estruturais, a chance de desabar aumenta.