Dabartinį Šilutės muziejaus pastatą savo šeimai pastatė meistras Fiedleris XIX a.pab. Vėliau šiame name buvo arklių pirklio A. Ritenso vasarnamis. Nuo 1949 m. čia įkurtas Šilutės muziejus. Muziejus šiame pastate gyvavo daugiau nei 65 metus.
2015 metais muziejus perkeltas į Šilutės Hugo Šojaus dvaro patalpas.