Gora Oljka (734 m) se omenja že leta 1243 kot “Križna gora”. Iz pogodbe med šoštanjsko lastnico in Malteškim viteškim redom je razvidno, da sta stala na gori vsaj od sredine 17. stoletja velik križ in kapela s kipom Sv. Jošta in Sv. Neže. Med letoma 1754 in 1757 je bila zgrajena sedanja cerkev. Znamenit je glavni oltar, ki uvršča cerkev na Gori Oljki med impozantne spomenike. Je delo kiparja Ferdinanda Galla. Njegov posluh za gledališke učinke je dosegel vrh v zadnji večerji z velikega oltarja. Vrsta sedečih apostolov v naravni velikosti, ki z izrazitimi kretnjami izpovedujejo svoje občutke ob zadnji večerji, je zapustila običajno oltarno okolje in išče neposreden stik z gledalcem. Na nastavku je slika Fortunata Berganta “Kristus v vrtu Getsemani”, zgoraj veliki križ, pod njim kip Žalostne Matere Božje, ob njej pa še kipa Sv. Neže in Sv. Jošta. Pod cerkvijo je še podzemno svetišče z božjim grobom. Fasada na cerkvi in vsi kamniti deli so bili obnovljeni 1998 leta, prav tako zunanja osvetlitev.