ルーヴェスタイン城は、オランダのマース川とワール川に挟まれた河川地帯、歴史的な「要塞三角地帯」にあります。美しい景観だけでなく、川の航行や渡河点を押さえる軍事上の意味がありました。博物館は、騎士ディルク・ローフ・ファン・ホルネが城の建設を始めた時期を1360年ごろとしています。公式説明によれば、彼は工事費を得るため違法な河川通行税を設け、利益を得ましたが、最終的にはホラント伯の介入によって城を失いました。
六世紀以上の間に、ルーヴェスタインは中世の城から軍事要塞、国家刑務所、博物館へと役割を変えました。1572年、海乞食団が城を占領し、その後オラニエ公ウィレムが防備を強化しました。城壁と堀の内側には兵士の集落がつくられ、最初は木造兵舎、後には石造の住居が建ちました。城内の部屋は一般犯罪者ではなく、政治的・宗教的な異論を持つ人々の独房として使われました。この点は、オランダ共和国の権力と信仰をめぐる対立を理解するうえで重要です。