上海市历史博物馆创建于1983年，原名上海历史文物陈列馆。1991年改为现馆名。
当时的上海历史文物陈列馆暂借西郊上海市农业展览馆第五馆作为临时馆址，1984年5月27日正式对外开放。上海历史文物陈列馆的性质是地志性博物馆，它通过一千三百多件文物、文献以及图片等资料，综合展示了上海从远古到1949年上海解放这一漫长的历史画面。
1991年上海市历史博物馆在虹桥路1286号全新开馆，基本陈列为“近代上海城市发展历史陈列”，展出文物1500余件，分六个部分，全面地展示了自1843年开埠到1949年解放的百年上海风貌，内容涵盖近代上海租界的开辟和消亡，市政面貌的日趋改善，经济的迅速崛起，文化的日益繁荣，移民社会独特的民俗风情以及百年来的政治风云。被列为首批上海市“青少年教育基地”。
上海市历史博物馆收藏文物近30000件，主要有上海古代历史文物，近现代历史文物（包括租界殖民地遗物）18000多件。其中明代韩希孟顾绣花卉虫鱼册、侯峒曾行书轴、七宝寺藏金字写经、近代陈化成抗英遗物“振远将军”铜炮、太平天国大花钱、原汇丰银行门前铜质对狮、1893年英美公共租界及法租界界碑等是馆藏重要文物。
2001年5月，我馆策划制作的“上海城市历史发展陈列馆”移至上海浦东东方明珠电视塔内。陈列馆分“华亭溯源”、“城厢风貌”、“开埠掠影”、“十里洋场”、“海上旧踪”五个部分。主要以场景和模型的艺术手法，辅以音响、多媒体资料查询装置及多媒体影视模型合成装置等展示手段，以城市建筑发展为主要线索，反映自古至今上海从一个滨海渔村发展为中国最大的工商都市的过程，突出地反映了近代上海在政治、经济、文化、社会、生活等各个方面的历史演变。
“上海城市历史发展陈列馆”开设在上海著名旅游景点东方明珠电视塔内，观众既可以登塔观赏上海改革开放以来的巨大变化，感受新上海的飞速发展，也可以在塔内参观上海城市历史发展陈列馆，领略上海城市历史发展的踪迹和近代上海的历史历史风情。
上海市历史博物馆的新建项目已被列入上海文化建设的三年行动计划。目前上海市文物管理委员会对上海历史博物馆的兴建已有了初步的构想：未来的新历史博物馆将是一座充分反映上海历史发展轨迹的地方志博物馆，定位于全面展示上海古代史与近代史文物。一座全面展示上海古代与近代文物史的新博物馆可望亮相申城。
