Rapaz, isso é suspeito o suficiente para terminar. Não precisa ser um gênio para notar que ele tem algo a esconder, pois se trata, muito provavelmente, de coisa errada.
Mas diálogo primeiro. Converse com ele, confronte-o e decida o que deve fazer com base no que for conversado, e na conclusão a que chegar.
Terminar é a coisa mais coerente a se fazer.
Qualquer outra decisão para reatar o relacionamento marcado por uma “suposta” (na verdade está muito nítido) infidelidade é burrice.