Depende do intuito de quem fala, tudo depende do tom. A palavra em si é meio desagradável, tem melhores, mas sozinha não ofende
Às vezes a zoeira nem é pela virgindade e sim pelo comportamento. Cara lerdão, emocionado, gado de mulher, desesperado por atenção, frustrado com mulher, cara que só come puta, mesmo já não sendo mais virgem o cara se porta como se nunca tivesse nem dado um beijo numa mulher.
Há casos em que nem tem a ver com mulher, por exemplo cara cai em golpe, é enrolado, é inexperiente no trabalho e faz bobagem, perdeu uma boa chance, aí dizem que foi cabaço também.