Pirmoji bažnyčia pastatyta iki 1685 m. Apie 1756 m. perstatyta. 1758 m. įkurta parapija. 1759 m. paskirti sklypai bažnyčiai, kapinėms, vargonininkui, bažnyčios tarnams. 1777 m. minima parapinė mokykla. Klebonas Tomas Dabrila (1818–1869) 1863 m. apkaltintas valdžiai nepalankaus pamokslo sakymu ir nuteistas kalėti. Klebonas Motiejus Oleka su parapijiečiais 1872–1874 m. bažnyčią padidino, pristatė Šonines koplyčias. Bažnyčią 1884 m. konsekravo pavyskupis Juozapas Olekas. XX a. pradžioje susibūrė Gyvojo rožančiaus brolija.
1906 m. įsikūręs „Žiburio“ draugijos skyrius 1907 m. įsteigė biblioteką – skaityklą. Žiburiečiai 1908–1914 m. rengė viešus lietuviškus vakarus su vaidinimais. 1909–1914 m. veikė Lietuvių katalikų blaivybės draugijos skyrius, 1911–1914 m. – Krikščionių darbininkų draugija. Blaivybės skyrius 1910–1914 m. taip pat rengė viešus lietuviškus vakarus, vaidinimus. Per Pirmąjį pasaulinį karą sudegė klebonija. Iki 1936 m. klebonavęs Simeonas Švilpa atstatė kleboniją, ūkinius pastatus, įsigijo varpus, sutvarkė ir aptvėrė kapines.
Vladas Pėstininkas (1889–1968) 1924–1937 m. buvo Pilviškių parapijos vikaras, progimnazijos kapelionas, muzikos mokytojas, choro ir orkestro vadovas, pastatė senelių prieglaudą. Po Antrojo pasaulinio karo 10 m. ištremtas į Sibirą. Grįžęs iki mirties klebonavo Pilviškiuose. Palaidotas šventoriuje. 1941 m. bažnyčia sudegė.
1942 m. pagal architekto Stasio Kudoko projektą pradėta statyti mūrinė bažnyčia neužbaigta. Ją mėginta nugriauti. Pasipriešinus klebonui Boleslovui Čegelskui (1922–1989), (Pilviškiuose 1962–1980 m.), palikta. 1947 m. pastatyta laikina žema medinė bažnyčia.