Sempre tomo à noite, exceto quanto tá muito calor, nunca notei que atrapalhasse. Teve noites que dormi bem e tomei várias xícaras, em outras que dormi mal nem tomei... mas falam que faz mal por conta da cafeína, recomendam não consumir no mínimo 6 horas antes de dormir e substituir por chá ou leite.
Cada organismo tem as suas particularidades, mas acredito que o horário principalmente e outras coisas (preocupações, ansiedade, telas, etc) atrapalham muito mais do que beber ou não café.