Wieża Woka może kryć znacznie głębiej schowane tajemnice. Nazywana bywa bowiem niekiedy Wieżą Pogańską, co sugeruje, iż zanim Woko z Rosenbergu zaczął swoją inwestycję, istniał już w tym miejscu jakiś obiekt z jeszcze starszą metryką. Prudnickie legendy wspominają nawet, iż pierwszą wieżę zbudować mogli templariusze. Taką wersję podaje wydany w 1888 roku „Słownik geograficzny Królestwa Polskiego i innych krajów słowiańskich”. Nie tłumaczy to w żaden sposób „pogańskiego” charakteru wieży, bo przecież tego typu obiekty (obronne stołpy wznoszone przy pomocy zaprawy) zaczęto budować dopiero od połowy XIII wieku, gdy panowało już tutaj od dawna chrześcijaństwo. Obecna w niemieckiej literaturze historycznej Wieża Pogańska pozostaje więc – póki co – jeszcze jedną zagadką z odpowiedzią ukrytą w mrokach dziejów.
