St. Hilarion Kalesi’nin bulunduğu tepenin geçmişi, yalnızca askeri bir yapının inşasıyla sınırlı değildir. Bölgeye dair geleneksel anlatılar, kalenin yükselmesinden çok daha önce burada bir manastırın bulunduğunu söyler. Bu anlatılara göre, Hilarion adlı münzevi keşişin yaşadığı bu tepe, zamanla küçük bir dini topluluğun toplandığı, ibadet edilen ve inzivaya çekilen bir manastır alanına dönüşmüştü. Bu nedenle bazı kaynaklar, kalenin aslında bu manastırın etrafında geliştiğini ve askeri yapının dini bir çekirdeğin üzerine inşa edildiğini ileri sürer.
Ancak modern tarihçiler bu iddialara temkinli yaklaşır. Günümüze ulaşan arkeolojik bulgular, bölgede kesin olarak bir manastırın varlığını kanıtlayacak güçlü veriler sunmamaktadır. Ne yazılı kaynaklarda ne de kazı çalışmalarında, burada organize bir manastır yaşamının sürdüğünü doğrulayan net kanıtlar bulunmuştur. Bu nedenle akademik çevrelerde, manastır iddiası daha çok halk anlatılarına dayanan bir gelenek olarak değerlendirilir.
Buna rağmen, bölgenin dini bir inziva mekânı olarak kullanıldığına dair güçlü kültürel izler vardır. Hilarion’un burada yaşadığına dair inanç, yüzyıllar boyunca halk hafızasında canlı kalmış; tepe, “azizin yeri” olarak kutsal bir anlam kazanmıştır. Bu durum, manastırın fiziksel olarak var olup olmamasından bağımsız şekilde, bölgenin ruhani bir merkez olarak algılanmasına yol açmıştır.
Dolayısıyla St. Hilarion Kalesi’nin bulunduğu tepe, tarihsel olarak kesin bir manastır yapısına sahip olmasa bile, halkın gözünde uzun süre dini bir inziva alanı olarak yaşamıştır. Bu manevi atmosfer, daha sonra inşa edilen kalenin kimliğine de yansımış; askeri bir yapının ötesinde, kültürel ve ruhani bir anlam taşımasına katkı sağlamıştır.
