O que eu posso fazer pra ter Deus no coração?

Por mais que eu diga que acredito nele, converso com ele, mas parece que é da boca pra fora. Quem acredita em Deus, ao meu ver, tem paz, é tranquilo. Eu só vivo frustrado, irritado, arrependido. Todos os dias ao acordar agradeço por tudo, agradeço por mais um dia de vida. Acredito que se eu fosse bem apegado mesmo a ele, seria uma pessoa mais assertiva.
Será que eu tenho que me enfiar em uma Igreja todos os Domingos?