Na wzgórzu nad Osławą, zwanym Marymontem, wznoszą się ruiny warownego klasztoru i kościoła Karmelitów Bosych, którego fundatorem był Jan Franciszek Stadnicki. Otoczony murem obronnym kompleks budowli, do których należały także foresteria, szpital dla weteranów wojskowych (poza murami klasztornymi) i kordegarda, powstał na początku XVIII wieku, a pierwotny akt fundacji miał miejsce prawdopodobnie w 1700 roku. Zakonnicy przybyli do Zagórza w 1714 roku. Biskup przemyski, Jak Kazimierz de Alten Bohum dokonał uroczystego wprowadzenia i poświęcił kamień węgielny pod kościół klasztorny (początkowo pw. Nawiedzenia, później Zwiastowania NMP). Świątynię wzniesiono w stylu barokowym, a bezwieżowa, trójprzęsłowa fasada nawiązywała do rzymskiego kościoła Il Gesu. Przy prezbiterium znajdowały się dwie wieże; ściany kościoła ozdobione były freskami iluzjonistycznymi, których pozostałości można zobaczyć jeszcze dziś. W 1726 roku klasztor podniesiono do godności przeoratu, cztery lata później ukończono całość zabudowań, a następnie otoczono je murami obronnymi. W 1772 roku wojska rosyjskie oblegały w klasztorze konfederatów barskich; wskutek ostrzału wybuchł pożar, który wyrządził znaczne szkody. Po tych wydarzeniach konwent nie odzyskał już dawnej świetności, tym bardziej, że pod zaborem austriackim funkcjonowanie zgromadzeń zakonnych było bardzo utrudnione. Nastąpił upadek życia zakonnego; braci i ojców kierowano do pracy w parafiach. W tym czasie w klasztorze znajdował się również dom poprawczy dla księży.

26 listopada 1822 roku, z niewyjaśnionych do dziś przyczyn, wybuchł pożar, który zniszczył całkowicie wiązania dachowe klasztoru i kościoła. Siedem lat później nastąpiła likwidacja konwentu, zaś majątki i legaty klasztoru przeszły na skarb państwa i do funduszu religijnego.

Przez następne 135 lat budowla niszczała; dopiero w 1957 roku kuria przemyska przekazała ruiny zakonowi karmelitów i podjęto próbę odbudowy. Uporządkowano teren i rozpoczęto przygotowania, w krótkim czasie wykonano wiele niezbędnych prac. Starano się zdobywać fundusze – zakonnicy wydali np. okolicznościowe kartki – cegiełki. O. Józef od Matki Boskiej z Góry Karmel (o. Jan Prus) kierujący odbudową udał się do Stanów Zjednoczonych, by tam zbierać pieniądze. Niestety, tuż po powrocie do Zagórza, o. Józef zmarł. Ówczesne władze zmusiły karmelitów do zaprzestania odbudowy.

Do 1997 roku mury ulegały dalszej dewastacji. Na szczęście w końcu podjęto prace nad utrzymaniem obiektu w stanie trwałej ruiny, wzmocniono ścianę prezbiterium, odbudowano wieże. Obecnie pod nadzorem Wojewódzkiego Konserwatora Zabytków, trwają prace przy restauracji muru obronnego. Na cokół przed frontonem kościoła powróciła figura Matki Boskiej Szkaplerznej. Na wzgórzu odprawiane są nabożeństwa majowe i uroczysta Msza Święta w dzień Matki Boskiej Szkaplerznej, patronki Karmelu.

Dziś, na otoczonym zachowanymi jeszcze murami obronnymi terenie, oprócz monumentalnej bryły kościoła można zobaczyć pozostałości budynku kordegardy, klasztoru, cel zakonnych i zabudowań gospodarczych. Cały obiekt stoi na wyniosłym wzgórzu, otoczonym z trzech stron korytem Osławy. Na teren klasztorny prowadzi brama w murach obronnych.