Generolas Bžostovskis 1759 m. pastatė koplyčią. 1797 m. joje būdavo ketveri atlaidai per metus. 1861 m. koplyčia suremontuota. Per Pirmąjį pasaulinį karą sudegus Varėnos bažnyčiai, jos klebonas Juozapas Stasys persikėlė į Akmenį, pastatė kleboniją, padidino koplyčią. 1919 m. įsteigta parapija. Akmuo garsėjo Švč. Jėzaus Širdies (dešimtinės) atlaidais.