Porque quem diz isso não é a mesma pessoa que sente o vazio. Pra muita

gente, sexo por si só é baum demais.

Geralmente quem sente vazio é porque tá com problemas. Carência, falta de propósito, aí o sexo não é diversão, é um escape.