Ele se dedica a falar com você e apenas com você? Ele se importa em

gastar o tempo dele ao seu lado falando com você em vez de fazer outras coisas? Isso pode indicar que ele tem alguma atração e interesse por sua companhia, mesmo que não chegue a abordar muitos assuntos relacionados ao seu cotidiano. Talvez ele se identifique pouco com o seu cotidiano ou tenha algum incômodo a respeito disso, e você não tenha tanto esse problema em relação a ele (você talvez tenha alguma ideologia ou religião ou algo similar que ele rejeite, mas o oposto provavelmente não ocorre), imagino que seja bom procurar saber um pouco disso, nesse caso, pode haver uma falha de afinidade, mas se ele sempre te procura, isso pode indicar que os fatores que você observou não são definitivos para determinar a importância que ele atribui a você.
Eu falo isso porque é mais ou menos o que ocorre muito comigo quando converso com pessoas de ideologias pelas quais eu sinto rejeição, mesmo que eu consiga apreciar a companhia das pessoas, isso não ocorre muito quando a pessoa tem ideologia mais similar ou quando tem interesses mais parecidos.