W latach 1867-1872 przebudowano pałac na siedzibę Urzędu Gubernialnego. Dokonano wtedy szpecących zmian w wyglądzie rezydencji. Przebudowa zgodnie z projektem Franciszka Ksawerego Kowalskiego obejmowała m.in. zastąpienie wysokich hełmów wież płaskimi namiotowymi daszkami, obniżenie dachów obu skrzydeł, usunięcie posągów posłów szwedzkich i moskiewskich z murków parawanowych. W tym stanie pałac przetrwał do okresu międzywojennego, kiedy to został przejęty przez Urząd Wojewódzki. Dokonano wówczas restauracji budynku, doprowadzając do stanu aktualnego. Zrekonstruowano hełmy wież od strony wschodniej (w latach 1923-1927) oraz wież od strony zachodniej (w latach 1937-1938).
Źródło: OMPiO