Музей был основан 1898 году, он обязан свои появлением А.П. Чехова, который очень трепетно относился к своему родному. Именно он высказал идею о том, чтобы к 200 летию города создать музей. Изначально в музее были представлены экспонаты, переданные в дар художниками и меценатами.  При содействии А.П. Чехова и знаменитого художника И.Е. Репина Петербургской Академией художеств Таганрогскому музею было передано 40 картин и этюдов. С тех пор коллекция экспонатов постоянно пополнялась. В 20ые годы XX века было получено большое количество полотен из  Государственного музейного фонда, Государственного Русского музея, а также экспонаты из Музея керамики.

  Большой вклад в развитие музея внесли коллекционеры, которые в 1960-1990 годы передали музею полотна известных русских художников. В 1963 году художественная галерея Таганрогского музея отделилась и получила название  «Таганрогская картинная галерея», которая в народе сразу же стала зваться «Малая Третьяковская». С 1975 года музей встречает своих посетителей в особняке, который также является памятником архитектуры XIX века. Благодаря музею, усадьба получила вторую жизнь, там был восстановлен дворянский интерьер, а во внутреннем дворике была установлена итальянская скульптура ХIХ века из мрамора. С 2003 года музей стал называться «Таганрогский художественный музей».

  На сегодняшний день музей владеет уникальной коллекцией полотен русских художников ХVIII-ХХ веков: А.П. Антропова, Ф.С. Рокотова, С. Щедрина, В. Тропинина, К. Айвазовского, Н. Ге, И.И. Шишкина, В.В. Верещагина, А. Куинджи, П. Кончаловского, З. Серебряковой, С. Блонской, Н.К. Рериха.