XIX a. Prūsijoje buvo įvestas privalomas 8-erių metų mokymas ir steigiamos liaudies mokyklos. Vokiečių mokyklos būdavo 3 koncentrų: pradinės, vidurinės ir gimnazijos. Pradinė mokykla vadinosi liaudies mokykla (vok. Volkschule), kuri rengdavo ūkininkus, darbininkus ir amatininkus, vidurinė mokykla – žemesniuosius valdininkus ir tarnautojus, o baigusieji gimnaziją galėdavo įstoti į aukštąsias mokyklas.
XIX a. pabaigoje Šilutės liaudies mokyklai buvo pastatyti šie rūmai su erdviomis šviesiomis klasėmis, plačiais koridoriais ir sale. 1900 m. čia jau veikė I–VII skyriai, o 1901 m. atidarytas VIII skyrius. Po karo čia įsikūrė aštuonmetė mokykla, kuri paskui buvo perorganizuota į IV vidurinę mokyklą.
1980 m. mokyklai pastatydino naują pastatą Žalgirio gatvėje, į kurį mokykla ir išsikėlė. Senajame pastate įsikūrė įvairios organizacijos, veikė vaikų sporto mokykla. 1990 m. čia pradėjo veikti Šilutės pradinė mokykla, kuri, gyvavusi 22 metus, 2012 m. tapo Šilutės Pamario pagrindinės mokyklos dalimi (nuo 2021 m. Šilutės Pamario progimnazija). Nuo 2015 m. rugsėjo 1 d. pastate veikia Šilutės meno mokykla.