Jonas Narbutas Kaltanėnų pranciškonams 1633 m. paskyrė 14 valakų žemės. Apie tuos metus pastatyta bažnyčia ir vienuolynas. 1740 m. pastatyta nauja medinė bažnyčia ir aštuoniakampė varpinė. 1772 m. pastatytas dviaukštis vienuolynas. 1796 m. įsteigta pranciškonų mokykla, nuo 1806 m. parapinė. 1820 m. pastatyta medinė kapinių koplyčia.
1832 m. Rusijos valdžia vienuolyną uždarė. Jam iki tol priklausė Antaniškės, Beržijos, Drūstėnų, Drūtūnų, Mačiutiškės, Maksiūnų ir Šakarvos kaimai. Architektas Antonas Filipovičius-Dubovnikas parengė vienuolyno perstatymo į bažnyčią projektą. Jis 1902 m. patvirtintas.
1903–1909 m. pastatyta dabartinė mūrinė bažnyčia. Į Kaltanėnus 1898 m. paskirtas klebonas Mykolas Meštikas pamaldas pradėjo laikyti ir pamokslus sakyti lietuviškai (po 29 metų pertraukos). Jo rūpesčiu 1910 m. įkurtas Lietuvių katalikų blaivybės draugijos skyrius, įsteigta arbatinė. 1912 m. surengtas pirmas viešas lietuviškas vaidinimas. Lenkijos okupacijos metais veikė Šv. Kazimiero draugijos skyrius, 1933–1936 m. – „Ryto“ skaitykla.
1928–1937 m. klebonavęs Nikodemas Vaišutis Lenkijos okupacinės valdžios persekiotas, baustas. Po Antrojo pasaulinio karo Kaltanėnuose kunigavo teologijos mokslų daktaras profesorius Norbertas Skurkis (1904–1972), (palaidotas šventoriuje), Sibiro tremtinys.