Замок в Гольшанах овеян множеством жутковатых легенд и преданий. Например, одна из них рассказывает о Чёрном Монахе – призраке, который разгуливает среди руин. По легенде, когда-то один юноша из небогатых слоев населения полюбил княжну Ганну-Гордиславу Гольшанскую. Девушка ответила ему взаимностью. Однако отец княжны не мог допустить брака своей дочери с простолюдином. По его приказу юношу схватили и замуровали заживо в стене замка.
Что было дальше с княжной, легенда умалчивает. А вот душа юноши, как утверждают рассказчики, так и не нашла покой, и его призрак остался среди руин замка, где он был так несправедливо убит.
А вот другая легенда, не менее зловещая. Правда, ее связывают со строительством не замка, а монастыря францисканцев, в тот же исторический период. Согласно легенде, строители монастыря никак не успевали закончить работу в срок: одна из стен все время по непонятной причине давала трещину. Ну, и решили рабочие, что без человеческой жертвы не обойтись. Вот такие языческие представления – а ведь строили-то христианский монастырь!
Решено было, что первую женщину, которую увидят в этот день рабочие, нужно замуровать в стену. И так вышло, что ею стала совсем молодая девушка, которая принесла обед своему мужу – одному из строителей монастыря. Ее схватили и замуровали в стене. После этого работа пошла на лад и монастырь был достроен. А вот душа женщины до сих пор бродит по монастырю и руинам Гольшанского замка в виде Белой Дамы (Белой Пани).
Есть и третья легенда – на этот раз связанная с водяной мельницей в Гольшанах. Сказывают, будто по ночам заброшенная мельница приходит в движение: слышен скрип жерновов, конское ржание и голос самого мельника.