המוזיאון נוסד בשנת 1800 בהאג במטרה להציג את האמנות ההולנדית, ובשנת 1808 עבר המוזיאון לאמסטרדם במצוות המלך לואי בונפרטה, אחיו של נפולאון בונפרטה. לאחר העברתו לאמסטרדם נוספו למוזיאון הציורים שהיו בבעלות העיר, ובהם משמר הלילה (Nachtwacht) של רמברנדט. בשנת 1885 עבר המוזיאון למשכנו הנוכחי, אשר תוכנן על ידי האדריכל ההולנדי פייר קויפרס. סגנון הבנייה של המוזיאון הוא שילוב בין הסגנון הגותי לסגנון רנסאנס.
