早在5000多年前的新石器时代，县境内就有人类活动。
夏、商属扬州地域，西周时属舒国，春秋时前属吴，后属越，秦时属九江郡，西汉时属淮南国，东汉、三国、西晋时均属庐江郡。东晋隆安至元兴年间置大雷戍。义熙元年始设新冶县，属豫州晋熙郡。
南朝陈天嘉年间升新冶县为大雷郡，属江州。唐武德四年改望江县为高州，属舒州同安郡。武德七年改高州为智州，属淮南道同安郡。至德二年废智州复望江县，属淮南道盛唐郡严州。
北宋至道初望江属淮南路舒州。政和五年属淮西路德庆军。南宋绍兴十七年望江属淮西路安庆军。庆元元年属淮西路安庆府。元至元十四年改府为路，望江属蕲黄宣慰司安庆路，至元二十三年废司置省，望江属河南江北行省安庆路。明洪武初望江属南京宁江府，洪武六年属南京安庆府。民国元年裁府，望江直属安徽省。
1959年2月26日，中共安徽省委决定，将望江、怀宁县合并，组建怀望县。