История этого музея связана с коллекцией живописи графа Румянцева. Этот просвещённый человек, во время Наполеоновских войн занимавший должность министра внутренних дел России, завещал всю свою коллекцию книг, рукописей и картин государству. В 1831 году в Санкт-Петербурге собрания Румянцева были открыты для обозрения, а в 1861 - перевезены в Москву. В 1921-27 годах фонд был расформирован, а картины переданы другим музеям и галереям.