1721 m. Šilutėje įsteigtas valstybinis dvaras. Tai elegantiškas vėlyvojo klasicizmo bei istorizmo architektūros kūrinys su subtiliu, Klaipėdos kraštui būdingu, dekoru.
1819 m. dvaro savininku tapo Frankas Vilhelmas (Franz Wilhelm Radke), tačiau dvaro atgimimas ir klestėjimas prasidėjo 1889 m., kai jį įsigijo dr. Hugo Šojus. Dvarininkas pertvarkė dvaro ūkį, dalį žemių išnuomojo ir padovanojo miestui. Svarbi Šilutės miesto dalis – apskrities ligoninė, turgaus aikštė, gimnazija, buvusi pradinė mokykla, paštas, gaisrinė, uostas, evangelikų liuteronų bažnyčia ir kt. – yra pastatyta ant buvusių dvaro žemių. Ne be pagrindo dr. Hugo Šojus vadinamas Šilutės miesto mecenatu. Atkurtame dvare įsteigtas pirmasis Klaipėdos krašto muziejus, kuriame kauptos unikalios kolekcijos. 1944 m. spalio mėnesį dvare apsistojus Raudonajai armijai, didelė dalis muziejinių vertybių buvo sunaikinta. Sovietiniais metais čia veikė pagalbinis vykdomojo komiteto ūkis, Žemės ūkio mokykla ir Žemės ūkio technikumas.
Nuo 2015 metų dvare veikia Hugo Šojaus muziejus, čia įsikūręs ir Šilutės turizmo informacijos centras. Dalyje buvusių dvaro ūkinių pastatų veikia restauravimo ir edukacijos centrai.