Biskup Wojciech Jastrzębiec wybudował w Rytwianach gotycki zamek obronny. Zamek wzniesiono w rozlewiskach rzeki Czarnej w latach 1425-1436. Służył on kolejnym właścicielom wsi i w pierwszej połowie XIX wieku nadal był użytkowany, pomimo częściowej ruiny. Dziś pozostał po nim jedynie fragment jednej z baszt. Teraz teren został uporządkowany, a wokół ruin postawiono dwanaście rzeźb autorstwa kieleckiego artysty Sławomira Micka.
