Budynek do dziś skrywa wiele tajemnic i mrocznych opowieści. Okoliczni mieszkańcy zawsze szeptali o pojawiających się w pałacu duchach. Jedna z legend znajduje się w starej książce historyka Jerzego Hyckla, który opisał w niej opowieść „Eichendorff i szara dama”. Legenda opowiada historię poety Josepha von Eichendorffa zaprzyjaźnionego z hrabią z pałacu w Sławikowie. Młodzi mężczyźni nie raz słyszeli opowieści o duchach przemykających się po komnatach zamku. Zainspirowani pogłoskami postanowili na własne oczy sprawdzić prawdziwość tych opowiadań. Tak też późną zimową porą przechadzali się po pałacu poszukując potwierdzenia na istnienie duchów. Mężczyźni znaleźli się tuż przed potężnymi metalowymi drzwiami, które mimo że nie były otwierane od ponad 100 lat, w pewne ponure zimowe wieczory uchylały się same. I tak też stało się tej nocy. Przez drzwi przeszedł duch kobiety, który oddalał się w kierunku schodów prowadzących w górę pałacu. Legenda głosi, że służący ujrzał kobiecą sylwetkę i jej twarz, która przykryta była szarym welonem. Mężczyzna udał się w kierunku zjawy, która palcem wskazała mu drogę. Po chwili poeta wraz z hrabią usłyszeli krzyk i udając się na kolejne piętro znaleźli trupa służącego, gdy wrócili, tajemnicze drzwi były już zamknięte. Takich historii było o wiele więcej, tamtejsi mieszkańcy wierzyli także, że pałac zamieszkują potwory, które przynoszą nieszczęście.
