W 1838 roku dwór w Gardzieniu wraz z przyległymi folwarkami kupił pochodzący z Prus Wschodnich baron Werner von Gustedt (1808-1864) , który osiadł w Gardzieniu ze swoją świeżo poślubioną małżonką Gustedt Jenny. Młody baron poznał swą małżonkę podczas pobytu w Weimarze na dworze Wielkiego Księcia Westfalii – Karola Augusta. Baronowa Gustedt Jenny (1811-18890), córka znanej arystokratki Diany von Papenheim z domu Waldner-Freundstein była owocem gorącego i głośnego romansu swej matki z królem Westfalii Hieronimem Bonaparte. 

Królewski ojciec Jenny, który nigdy nie wypierał się ojcostwa i bardzo kochał swoją córkę, na wieść o zamążpójściu Jenny przekazał jej pokaźną sumę, dzięki temu młodzi małżonkowie kupili majątek w Gardzieniu. Zanim urodziwa i wykształcona na miarę swej epoki – Jenny von Papenheim mieszkająca w Weimarze – ówczesnej stolicy kulturalnej Niemiec poznała swego męża, była najpierw damą dworu Wielkiej Księżnej Marii Pawłownej, przyjaźniła się też z Augustą, późniejszą Cesarzową Niemiec i jeszcze jako dziecko regularnie widywała w Weimarze na dworze Wielkiego Księcia Turyngii, Johanna Wolfganga Goethego mieszkającego w niedalekim Tierfurcie, tam też miała okazję widzieć się z Schillerem i Mickiewiczem odwiedzającymi największego niemieckiego poetę. 

Gardzień, w chwili przyjazdu małżeństwa von Gustedt, był maleńką wioską folwarczną, uroku temu miejscu dodawał niewielki i zaniedbany przez swych szymbarskich właścicieli: dwór, otoczone lasami, pobliskie jeziora Gardzień i Stęgwica, okazały park i rosnące pośród łąk i łanów zbóż; wiekowe dęby i buki oraz cieniste aleje lipowe wiodące do Szymbarka.  Do Iławy, najbliższego miasteczka, jechało się trudno przejezdną, pełną wybojów i wykrotów drogą leśną oraz źle i nierówno brukowaną drogą krajową, łączącą Iławę z Suszem i Prabutami.

W skład Rittergut Garden, majątku szlacheckiego Gardzień, wchodziły wtedy lasy leżące pomiędzy Jeziorakiem a Jeziorami Gardzień i Stęgwica oraz folwarki Jędrzejowice (Dietriechstein), Gross Starkenau – Starzykowo Wielkie i Klein Starkenau – Starzykowo Małe. Zaniedbany dwór ustawiony frontem do śródleśnego i dzisiaj zarastającego Jeziora Stęgwica, stojący w otoczeniu starych dębów i buków, od tyłu otoczony gęstymi kępami drzew i krzaków, Jenny von Gustedt przebudowała na wzór pałacu Wittum w Weimarze. 

Tu zgodnie z duchem okresu romantyzmu zainteresowała się kulturą i duchowością ludności wiejskiej ze zdumieniem stwierdzając, że wsie na Mazurach zamieszkuje żywioł polski, biedni, niepiśmienni chłopi, wyzyskiwani i poddawani intensywnej germanizacji przez niemieckiego zaborcę. Przerażona biedą i zacofaniem chłopów, obwiniając za ten stan rzeczy arystokrację, zakasała Gustedt Jenny rękawy jedwabnej sukni i zajęła się działalnością dobroczynną. Zachowanie iście skandaliczne, na które tylko arystokratka pozwolić sobie mogła. Dokarmiała więc chłopskie dzieciaki, które wówczas jadały gorzej niż obecnie niejeden Ciapek lub nie jadały w ogóle. Wysyłała też wiejską latorośl do szkół słusznie podejrzewając, że umiejętność czytania i pisania może się w życiu przydać. Podejmowała też walkę z pijaństwem, co nie mogło się udać, gdyż hobby te zbyt silnie jest zakorzenione w naszej tradycji. Wyciągała chłopów z błota zacofania i ciemnoty poświęcając na to swój czas i pieniądze starego. Szlachetnością dekorując swoje życie… Przez innych arystokratów zajętych polowaniami i balami jej działalność była postrzegana jako nieszkodliwe dziwactwo bogatej contessy. Choć z czasem moda ta udzieliła się innym znudzonym hrabinom o twarzach starannie tynkowanych. A pałac w Gardzieniu na długo stał się symbolem instytucji dobroczynnej, zaś chłopi jeszcze na początku XX wieku wspominali Dobrą Panią Jenny.

W 1864 roku, po śmierci barona Wernera von Gustedt, baronowa Gustedt Jenny razem z dziećmi wyprowadziła się do Lalblacken (Nikitowka) w Prusach Wschodnich, gdzie rodzina jej męża miała rozległe posiadłości zaś pałac i dobra ziemskie w Gardzieniu sprzedała kupcowi Jonasowi z Berlina. Nowy właściciel Gardzenia, który traktował posiadłość jedynie jako letnią rezydencję i miejsce polowań, w 1880 roku sprzedał pałac i dobra ziemskie niejakiemu Zidowitzowi, od tego zaś Gardzień wraz z folwarkami kupił w 1900 roku stary graf Konrad von Finckenstein. W ten sposób, po 160 latach, całość dóbr gardzieńskich wróciła do swych dawnych właścicieli, łącząc się na powrót z ich olbrzymimi włościami szymbarskimi. 

Podczas I wojny światowej w pałacu mieściła się szkoła dokształcająca i kwatera dla uchodźców z terenów objętych działaniami wojennymi. Po wojnie pałac stał się rezydencją wdowy po grafie von Finckenstein, a w roku 1932 Gdańska Organizacja S.A. prowadziła w nim szkołę sportową. a krótko przed kolejną wojną graf Finckenstein przekazał pałac swemu nadleśniczemu, tworząc w nim siedzibę zarządu swych olbrzymich dóbr leśnych, rozciągających się od Iławy do Wikielca i Stradomna oraz wzdłuż Jezioraka aż po Siemiany. Pałac i rozległe zabudowania dworskie – stajnie, chlewnie, stodoły i wozownie dziwnym zbiegiem okoliczności przetrwały wojnę i dość długo jeszcze nadawały się do dalszego użytku. Sam pałac zamieszkiwany był przez robotników leśnych leśnictwa Gardzień, którzy korzystali zarówno z pomieszczeń mieszkalnych w pałacu, jak i z zabudowań folwarcznych wedle sobie tylko znanych potrzeb, co sprawiło, że nie remontowany pałac i zabudowania niszczały z roku na rok. 

Na początku lat 70-ych XX wieku Jerzy Kluczek ówczesny prezes Powiatowego Zarządu Kółek Rolniczych prywatnie miłośnik zabytków i sztuk pięknych, opracował projekt przejęcia całego obiektu przez PZKR, który przewidywał po wyremontowaniu pałacu przeniesienia doń siedziby PZKR natomiast w dość dobrze zachowanych obiektach gospodarskich: stajniach, oborach, chlewach, spichrzach planował uruchomienie hodowli zwierząt i produkcję rolno-spożywczą.

Jego projekt został jednak odrzucony przez władze powiatu iławskiego, które zarzuciły prezesowi PZKR, że chce socjalistyczne środki finansowe przeznaczyć na ratowanie zabytków klasowo – narodowych obcych Polsce Ludowej. Został rozebrany w 1976 roku przez miejscowych znawców architektury. Bo stary, bo brzydki, bo niemiecki, bo potrzebne cegły na bloki. Wyposażenie rozszabrowała okoliczna ludność. W latach 90-tych przyjechała tu przedwojenna właścicielka z hrabiów Finck von Finckenstein. Stała w parku i płakała widząc jak chłopi rozszarpują traktorem ostatnie budynki gospodarcze. Szczęściem Gustedt Jenny takich czasów nie doczekała. Pękło by jej serce widząc jak ci polscy chłopi, o których tak dbała, niszczą jej majątek. Bo szwabski . . . 

I tyle. Tylko tyle zostało po księżnej Jenny która tak pokochała tę mazurską ziemię. Ziemię na poły polską, jak mówiła.