Kristupas Gruzdys 1636 m. pastatė evangelikų reformatų bažnyčią. Ji 1653 m. atiteko katalikams. Apie 1670 m. pastatyta katalikų bažnyčia. Jai 1672 m. dovanoti 2 valakai žemės. Kunigaikštis Radvila ant Gruzdžių piliakalnio (dabar kapinės) 1759 m. pastatė naują medinę bažnyčią. Jai 1806 m. priklausė Šiupylių kaimas. Nuo XIX a. pradžios veikė parapinė mokykla (joje 1820 m. buvo mokoma ir lietuviškai). Į Gruzdžius 1842 m. perkeltas parapijos centras. Bažnyčia 1849 m. perstatyta. Per 1891 m. rugsėjo 8 d. miestelio gaisrą sudegė.
Architektas Ustinas Golinevičius 1892 m. suprojektavo mūrinę bažnyčią. Iki 1896 m. valdžia įvairiais pretekstais jos statyti neleido. 1896–1904 m. architektas Karl Eduard Strandmann parengė naują mūrinės dvibokštės bažnyčios projektą. Bažnyčią statė meistrai iš Latvijos. Klebono Liongino Rakščio, vikaro Juozapo Skorupsko ir parapijiečių aukomis bažnyčia pastatyta (prižiūrėjo archit. Nikolaj Andrejev). Joje pamaldos pradėtos laikyti 1901 m. Bažnyčią 1920 m. konsekravo vyskupas Pranciškus Karevičius. Klebonas Juozas Čepėnas 1987 m. išdažė bažnyčios vidų.