В основі музею - подарована рідному місту колекція художника-передвижника Н. А. Ярошенко, яка прибула в Полтаву в 1917 році. Вона включала 100 живописних творів та 23 робочих альбому самого художника, а також значна кількість робіт друзів і колег по Товариству пересувних художніх виставок, зокрема, І. Шишкіна, В. Полєнова, В. Маковського, І. Рєпіна, В. Максимова та ін . Полтавський художній музей відкритий 27 квітня 1919 року і спочатку носив статус картинної галереї. Його засновник, згодом відомий український археолог і музеєзнавець Михайло Якович Рудинскій, іменував його «Музеєм мистецтв». У музеї також зберігаються цікаві мініатюри XVII-XIX століть французького майстра Бернарда (портрети Наполеона, Жозефіни, Марії-Луїзи), мініатюристів з Німеччини та Австрії Г.Фюгера, К. Ф. Кепці, А.Антрейтера. Декоративно-прикладне мистецтво Китаю, Японії, Ірану, Туреччини, Франції та Німеччини представлено колекціями виробів з фарфору, каменю, металу, тканин. Найбільш значними є колекції порцеляни саксонського, севрської, віденського заводів XVIII-XIX століть.