Por que pessoas caladas às vezes nos incomodam tanto?

Um dia desses tava em uma roda de amigos, e veio junto um conhecido meu que não falava nada, só ouvia a conversa.
E mesmo que ele não tenha feito nada de errado, aquilo foi fazendo eu perder a paciência, e só não xinguei o cara e mandei ele sair fora, pq seria algo traumático pra alguém que já é timido.
Mas depois fiquei pensando, pq isso irrita tanto, se ele não fez nada?
Outras pessoas que estavam na roda, comentaram o mesmo comigo depois.