Pierwszy pałac na jednym z tych wzgórz wzniósł na początku XVII wieku wojewoda Ossoliński. Spędził w nim ostatnie lata życia. Niewiele o tej budowli wiadomo. Po Ossolińskich wieś przeszła w ręce Kalinowskich, potem Morsztynów i księcia Janusza Aleksandra Sanguszki. Od 1760 roku przez ponad wiek była we władaniu Ledóchowskich. Starszy brat kardynała Julian Ledóchowski rozpoczął rozbudowę rodowej rezydencji. Prawdopodobnie według projektu wybitnego architekta Henryka Marconiego powstały też wówczas dwie wieże. Julian rozbudowy nie dokończył, zmarł w 1859 roku w Dreźnie. Za jego życia powstał jeszcze wokół pałacu park na wzór angielski z rzeźbami, romantycznymi grotami i mostkami. Po śmierci Ledóchowskich dobra nabył Stanisław Karski, dziedzic Włostowa pod Opatowem. Włości w okolicach Klimontowa przekazał swojemu drugiemu synowi Włodzimierzowi, który zamieszkał w pałacu w Górkach. W latach 1895-96 rezydencja została gruntownie przebudowana przez architekta Władysława Marconiego, syna Henryka. Zmodernizowano wówczas m.in. wieżę północną, a w południowej dobudowano attykę. Arkadowe okna zastąpiły okrągłe i prostokątne. W tym okresie powstały też stiukowe dekoracje elewacji i urządzono wnętrza. Pałac nabrał eklektycznego charakteru - w barokowe i rokokowe wzory wkomponowano renesansowe elementy.
Podczas okupacji hitlerowskiej w pałacu chronili się m.in. partyzanci z oddziału Jędrusie. Pod koniec wojny mieścił się w nim sztab niemiecki. Już po wojnie, w 1947 roku, duże zniszczenia pałacu spowodował pożar. Spalił się dach i część stropów. Po odbudowie w pałacu do początków lat 80. mieściła się szkoła mechanizacji rolnictwa. Krótko gospodarzem obiektu była Cementownia Ożarów, później gmina Klimontów. Pałac coraz bardziej niszczał. W 1994 roku kupili go Elżbieta i Andrzej Widuchowie. Obiekt przeszedł generalny remont i odzyskał dawną świetność.
Pałac nie jest udostępniony do zwiedzania.
Źródło:
www.sandomierskie.com
www.klimontow.2ap.pl
