Na Ulaki v Loški dolini je pri znamenitem spomeniku nekdaj stala Cerkev Svetega Petra, zdaj pa so tam samo ruševine. Nekateri viri navajajo, da je bila cerkev zgrajena v začetku 16. stoletja, bila pa je podružnica podružnične cerkve Svetega Martina v Podcerkvi. Na vrhu Ulake je stala do konca 18. stoletja, v obdobju reform Jožefa II pa je cerkev propadla. V Loški dolini je sicer enako usodo doživelo še 12 cerkva, vendar so jih domačini uspeli oživiti.

V tej cerkvi so se zbirali tudi luteranci, o čemer je pisal lokalni pisatelj Matevž Hace. V tistem času so luteranci veljali za krivoverce in so jih povsod preganjali. Ko je cerkev propadla, so material in ostanke pobrali prebivalci za gradnjo drugih objektov. Je bil pa vrh Ulake v preteklosti dolgo časa naseljen, saj so tam živeli Kelti in Iliri. Več o ruševinah cerkve in luterancih nam je povedal poznavalec dediščine in zgodovine Loške doline, Marko Gorše.