Eu também não gostaria, mas sua esposa parece ter um visão diferente sobre isso, e

deve achar que não há problema em interagir com esse seu colega de trabalho. É uma situação difícil, mas considerando que vocês são casados, o esperado é que ela entenda o seu lado.