A Szármány hegy ősidők óta, valószínűleg már a pogány korban is kultikus, istentiszteleti hely volt. A szárhegyi Lázár család egyik őse, Lázár Miklós Rómából hazatérve, álmában történt látomásra hivatkozva 5 kápolnát építtet a Sármány-hegyre eros védőfallal körülvéve.

Lázár István 1642-ben a ferencesekre bízza a kápolnát és P. Kolozsvári Bertalant kéri meg a kolostor megtervezésére.

1749-ben a tűzvész pusztítása után építik a ma is álló kolostortemplomot, mely teljes egészében a barokk stílus jegyeit hordozza. A ferences szellemiség nagy hatással volt a szárhegyiekre.

A faluból 1700-tól 1948-ig 42 ferences került ki. A zárdában fennállása óta 800 ferences barát lakott és 51 itt van eltemetve a kolostor kertjében, köztük Kájoni János is, híres Kájoni-kódex alkotója, ki itt volt rendházfőnök. A kolostor temploma egyben búcsújáró hely is, kegytemplom, különösen a Szent Antal tisztelőinek. A templom Nagyboldogasszony tiszteletére van szentelve, búcsúja augusztus 15-én van, mikor gyalog-keresztek érkeznek a környező településekről, hogy közös szentmisével, emlékezzenek meg az ünnepről.

A kolostor közvetlen szomszédságában gyermekotthon található, illetve másik oldalt egy gyönyörű szoborpark, a művésztábor sok évi szobortermékéből.