В основе собрания - коллекция калужского врача Н.И.Васильева (1832 - 1917), переданная в дар городу по завещанию (картины русских и западноевропейских мастеров, несколько скульптур, предметы прикладного искусства, в частности произведения саксонского и французского фарфора). В 1918 году музей пополнился произведениями русского и западноевропейского искусства из  усадеб Тарусского, Мещовского, Казельского уездов Калужской губернии. В 1934 году из ГЭ поступило несколько картин западноевропейских художников. В 1945 - 1946 гг. в музей поступили произведения живописи и графики из фондов ЦЗК и от Управления по делам искусств при СМ РСФСР. По инициативе заслуженного деятеля искусств Н.И.Померанцева образован отдел древнерусского искусства (иконы и деревянная скульптура из церквей и соборов Калуги и Калужской области). В него входят также произведения московской и псковской школ.
   В собрании западноевропейского искусства имеются полотна мастеров Германии, Голландии, Италии, Фландрии, Франции (С.Рейсдаль, М.Хоббема, Б.Оммеганк, Д.Бранди, П.Веронезе).
   Русское искусство XVIII в. представлено, в основном, портретом (парсуна, Д.Левицкий), работами иностранцев (Д.Лампи, И.Робийяр). I пол. XIX в. - произведениями В.Тропинина, А.Мокрицкого, А.Максимова, Г.Чернецова, Л.Лагорио, К.Флавицкого; II пол. XIX в. - портретами Н.Ярошенко, пейзажами А.Саврасова, И.Шишкина, В.Поленова, И.Пряшникова, этюдами В.Сурикова и др.
   Искусство XX века представлено работами живописцев, входивших в творческие объединения "Мир искусства", "Бубновый валет", "Ослиный хвост" - Б.Кустодиева, З.Серебряковой, Н.Рериха, Н.Машкова, П.Кончаловского, А.Лентулова.
   Особое место в коллекции занимают произведения западноевропейской графики XVI - XIX в. (мастеров голландской, немецкой, английской, фламандской, французской школ - Л.Ворстермана, К.Висхера, Ф.Томассена, Ф.Барталоцци и др.)