Pôvodne bol zámok budovaný v rokoch 1288-1292 ako strážny hrad obchodnej cesty z Čiech do Sliezska. Legenda však spomína ako zakladateľa hradu rytiera Frederika ešte z roku 933. Čo je pravda, nevedia poriadne ani historici.
Počas husitských vojen (1428 až 1429) padol pod náporom husitov a bol čiastočne zničený. Výraznou obnovou prešiel koncom 18. storočia a neskôr v rokoch 1908 až 1923. Zmes gotických, barokových a rokokových štýlov láka návštevníkov z celého sveta. Tí sa dnes po prehliadke vnútorných priestorov môžu poprechádzať aj po nádherných terasách a v rozsiahlom zámockom parku.
Začiatkom 2. svetovej vojny v roku 1941 sa hrad dostal do rúk nacistov. Tí ho čiastočne prestavali, aby v ňom umiestnili svoje obávané gestapo. Po vojne Ksiaz (nem. Fürstenstein) obsadila víťazná Červená armáda, ktorá ho zdevastovala. Po jej odchode začala v 70. rokoch 20. storočia rekonštrukcia do dnešnej podoby. Ale fascinujúca architektúra nie je jediná vec, o ktorú sa turisti a bádatelia zaujímajú. Všetkých lákajú hlavne podzemné priestory spletitých tunelov vzbudzujúce teórie o nacistickom zlate a tajných laboratóriach Tretej ríše. Niekoľko poľských bádateľov sa domnieva, že práve na Ksiaz mala byť premiestnená legendárna Jantárová komnata. Iné teórie hovoria o mieste ako o možnom novom sídle Adolfa Hitlera, čo podporuje aj fakt, že približne 15 km odtiaľto sa vzdušnou čiarou nachádza podzemný komplex Riese (Obor) v Sovích horách.
Medzi starými múrmi ešte ostaneme:
Hrady a zámky Európy: Palanok
Úchvatné rumunské hrady dýchajúce históriou