阜阳市博物馆始建于1958年，是国内建馆较早的地市级综合性博物馆之一，1963年郭沫若题写馆名。原馆址于1987年建设，坐落于清河东路339号。占地面积一万平方米，主楼建筑面积3050平方米，展厅面积1700平方米。

在市委市政府的大力支持下，2017年3月总投资5.7亿元的市博物馆新馆开工建设。新馆位于城南新区中清河西侧、八里松路北，建筑面积约3.9万平方米，其中地上面积2.96847万平方米，地下面积0.9万平方米，展厅面积1.14万平方米，上展文物2000余件。包括地下一层文物库房，地上四层展厅，外形为“石开玉现”造型。2021年下半年市博物馆新馆开始布展，博物馆新馆展示区分三层，其中一楼为临时展厅和多媒体互动厅、二楼为阜阳通史展览、三楼为四个专题展厅。新馆突出阜阳地域文化特点和阜阳历史文化亮点，提炼重点文物的文化符号，借助科技互动手段，让文物“活”起来。读懂一座城市，最好的办法就是从看博物馆开始，因为一个城市的历史文化，都藏在博物馆里。阜阳博物馆新馆将打造成皖北首家智慧博物馆，让静态的文物动起来、会说话。

阜阳市博物馆于2018年升级为国家二级博物馆，馆藏文物12.6万件，其中国家一级文物64件、二级文物296件、三级文物2303件，有国务院公布的国家级珍贵古籍13部。藏品分青铜器、陶器、瓷器、玉器、石器、书画、古生物化石等十几个门类，其中商代龙虎铜尊、战国楚“郢大府”铜量器、阜阳汉简、西汉天文仪器、东汉青铜辟邪，新莽“井田”铭铜镜、北魏纪年鎏金铜佛像、唐真子飞霜镜、宋金纪年银铤等，具有较高的历史、艺术、科学价值。