Goa Kerep termasuk salah satu perintis Goa Maria di Indonesia yang berada di kota kecil Ambarawa. Goa Maria lainnya seperti: Goa Maria Sendangsono di Kulonprogo dan Goa Maria Sriningsih di Klaten. Goa Maria Kerep didirikan pada tahun 1954, lahir dengan sederhana dan tidak berdasarkan suatu penampakan. Meski demikian, goa ini tidak terjadi secara kebetulan, semua terjadi pasti karena adanya kehendak Tuhan bagi umat manusia di Ambarawa khususnya.
Keberadaan Goa Maria Kerep tidak bisa lepas dari seorang warga Belanda yang bertugas sebagai pengelola perkebunan di wilayah Ambarawa. Dia telah mempersembahkan tanah dan rumahnya untuk dijadikan lahan Gereja. Tanah dan rumah ini diberikan kepada Kongregasi Bruder Apostolik. Kongregasi tersebut didirikan oleh MGR Albertus Soegijapranata dan beranggotakan masyarakat sekitar dan berstatus sebagai kongregasi keuskupan. Namun sayangnya, kongregasi tersebut tidak bertahan lama karena tidak banyak peminat dan dibubarkan. Di lahan tanah tersebut dibangun sebuah goa bernama Kerep.
Pembangunan Goa Kerep juga terkait erat dengan surat gembala dari Sri Paus pada tahun 1954. Surat gembala tersebut sebagai Tahun Maria dan untuk mengenang 100 tahun usia Dogma Maria. Isi Surat Gembala menghimbau agar semua paroki menyelenggarakan peringatan untuk penghormatan Bunda Maria. Mantan Direktur Kongregasi Bruder Apostolik, Romo J Reijnders pada saat itu menjadi pastor Paroki Santo Yusuf Ambarawa. Dia menghimbau umatnya untuk menyelenggarakan perayaan penghormatan kepada Bunda Maria. Pada saat pastor Romo Bernardinus Soemarno S.J bertandang ke pasturan, Romo Reijnders sempat melakukan kegiatan perayaan pesta Bunda Maria. Romo Bernardinus Soemarno S.J disarankan agar membuat sebuah goa ini sebagai tempat devosi kepada Bunda Maria.
Ide dari Romo Bernardinus Soemarno S.J kemudian direalisasi pada tahun 1954. Siswa Sekolah Pendidikan Guru yang tinggal di Asrama Bruderan dan Susteran Ambarawa, diperintahkan untuk mengumpulkan batu dari sungai Panjang untuk pembuatan goa Maria. Bruder F.X Woerjoatmodjo S.J menjadi kepala di asrama dan tinggal di Pasturan Ambarawa.