Se não deseja fazer mal a ninguém, é só falta de empatia mesmo,ou ausência. Alguns

transtornos de personalidade péssimos tem isso como característica. Mas não parece seu caso, não parece ser cruel,ou coisa do tipo. Mas no demais, só um profissional pode te dizer. Procure um.