Fiz cirurgia, meu ex me ligou perguntando se podia vir me visitar e falei que não. Fiz errado?

Não.

foi educado e quer te ver bem. Um gesto de afeto.
Isso não quer dizer que ele pretende reatar.
Quis apenas te dar apoio moral.

Mas se vc não se sente confortável com ele. ele entenderá.

Depende do que vc ainda sente por ele.
Mas uma visita não prejudica ninguém.
Ele pode ter ficado chateado.