Pierwszą budowlą na powulkanicznym, bazaltowym stożku był prawdopodobnie kamienno-drewniany gród Bobrzan. Na przełomie X i XI w. istniała tu kasztelania, a pierwsze wzmianki o istniejącym tu później grodzie książęcym pochodzą z roku 1155, z bulli papieża Hadriana IV. W XIV w. Grodziec znajdował się w rękach rycerza Svola z rodu Bożywojów. Zamek był wielokrotnie przejmowany, niszczony, trawiony przez pożary, a zgromadzone wyposażenie wnętrz i eksponaty rozgrabiano. Jednak mury zamkowe pamiętają też dobre czasy, pełne turniejów, bisiad i zabaw dworskich. Jeśli wierzyć legendom, tego by kasztelani działali dobrze i sprawiedliwie strzeże rycerz-upiór; a nad jedną z mieszkających tu rodzin czuwała widmowa krewna odziana w czerń.
Pierwszych większych zmian i poważnej rozbudowy zamek doczekał się w roku 1470, kiedy to kupił go książę Fryderyk I. Do prac sprowadzono mistrzów murarskich z Wrocławia, Leśnicy i Görlitz, to oni nadali twierdzy obecny układ. W XVI w. gotycka budowla została przebudowana w stylu renesansowym wedle projektu Wendela Rosskopfa. W tym czasie zamek był częstym miejscem zabaw, turniejów, uczt i polowań.
Żoną Fryderyka II została siostra Wielkiego Mistrza Krzyżackiego, zorganizowano wtedy jeden z największych na Śląsku turniejów. W XVII w. przebudowano browar, piekarnię, wykuto studnię i pogłębiono zewnętrzną fosę do odprowadzania ścieków.
W czasie wojny trzydziestoletniej zamek został zdobyty przez odziały marszałka wojsk cesarskich Wallensteina
Został splądrowany i podpalony, zniszczono wyposażenie, a obrońców i chroniąca się tu ludność wymordowano. Armia cesarska założyła obóz na podzamczu, przez pewien czas rezydował tu sam Wallenstein. Prawdopodobnie oddział dostał się na zamek dzięki zdradzie jednej ze służących. W następnych latach okoliczna ludność przy pomocy oddziałów szwedzkich odbiła zamek, ale kilka lat później Wallenstein zdobył go ponownie.
Po zabiciu całej załogi w 1642 r. polecił wysadzić bramy i baszty. Po wycofaniu się wojsk cesarskich, zamek niszczał, kolejny właściciel (XVIII w.) sprzedawał za grosze kamienie zamkowe jako materiał budulcowy. Lepsze czasy nastały dla Grodźca z nadejściem następnego stulecia. Jan Henryk VI von Hochberg zlecił uporządkowanie i rekonstrukcję ruin, odnowiono Salę Książęcą, ponadto posadzono winorośle. Porządki wznowiono, po tym jak wojska napoleońskie, stacjonujące pod zamkiem, zaprószyły nieopatrznie ogień na zamku (przez zapalenie pochodni i zniczy).
W XX w. nowym właścicielem został przemysłowiec von Dirksen
Odbudowę zamku nadzorował architekt i restaurator Bodo Ebhardt. Naprawiono i podniesiono mury, ganki i blanki, wzniesiono ponownie jedną z wież, a wieża bramna otrzymała attykę i most. Komnaty zyskały stylowy wystrój, a do kaplicy sprowadzono figuralne płyty nagrobne. Odrestaurowany zamek odwiedził sam cesarz Wilhelm II. Za czasów syna właściciela, będącego hitlerowskim dyplomatą, na zamku było archiwum planu Barbarossa (wywiezione przez Sowietów).
Pod koniec wojny podobno ukryto tu skrzynie z nieznaną zawartością, miał też wtedy istnieć tunel łączący zamek z pobliskim kościółkiem. Po wojnie odbywały się tu liczne biesiady oficerów radzieckich.
Jak opowiadają legendy, w XII na zamku panował rycerz-rozbójnik Borzywoj, on i jego drużyna okradała mieszkańców i kupców, mordowała, niszczyła i paliła wsie. Ukazał się mu upiór w czerwonym płaszczu, dawny pan na zamku, nie mógł zaznać spokoju, dopóki nie nawróci na dobrą drogę jednego z potomków. Rozbójnik po tym spotkaniu rozdał dobytek i resztę życia spędził w pustelni, doradzając i pocieszając podróżnych. Podobnie nawrócił się srogi kasztelan Jan i jego wnuk. Czerwony Upiór, bo tak nazywane jest widmo szkieletu rycerza w zbroi i płaszczu, widywany miał być kilkukrotnie. Począwszy od czasów legnickich Piastów, po początki XX w. i lata powojenne.
Rycerz-rozbójnik, Czerwony Upiór, Czarna Prababka i inne widma zamku Grodziec
Kolejnym widmem wyglądającym jak stara kobieta w czerni, nosząca srebrny krzyż, jest Czarna Prababka. Krzyż miał magiczną właściwość, w pobliżu złej osoby tracił swój blask. Dzięki temu Czarna Prababka miała uratować córkę pana zamku, przed poślubieniem rycerza trudniącego się rozbojem. Po zamkowych murach zmuszona jest też błąkać się zjawa Krwawej Elfriedy. Została tak ukarana za gwałtowność i okrucieństwo, przez które przyczyniła się do uwięzienia matki, zabójstwa rycerza; zabiła też z zazdrości siostrę. Zginęła od uderzenia pioruna, a wszystkie ofiary jej poczynań w niewyjaśniony sposób przeżyły. Ponadto warto wspomnieć o strzegącym skarbów zamkowych duchu księcia Rybina. Ostatni poszukiwacz zmarł po ukąszeniu żmii przebywającej przy schowanym złocie. Czasem po komnatach przechadza się zjawa lub postać mężczyzny w ciemnym stroju, słychać też dźwięk tłuczonych naczyń. Rycerzowi, który kopał studnię w ramach zadośćuczynienia za zabicie kamrata, ukazała się podobno Biała Dama.
Zamek, znajduje się 15 kilometrów od Złotoryi, odbywa się tu Turniej Rycerski o Srebrny Pierścień Kasztelana oraz turniej łuczniczy o Srebrną Strzałę Kasztelana. Organizowane są przeglądy teatrów historycznych, koncerty i festiwale. Ruiny stały się tłem dla produkcji telewizji rosyjskiej, francuskiej, szwedzkiej i belgijskiej. Miłośników tajemnic zainteresuje fakt, że dostęp do wielu piwnic jest obecnie niemożliwy; nie wiadomo co się w nich kryje. Sam zamek podobno stoi na pogańskim uroczysku, wszelkie dziwne zjawiska powinny tu więc być na porządku dziennym.
