辖区东西最长距离80.23公里，南北最长距离122.68公里，总面积5533平方公里。
夏商时期，市境属“淮夷”之地。西周时期，市境大部为州来国所辖，南部地区分属六、蓼；春秋末期，诸侯纷争。周襄王三十年（前622）楚灭六、蓼，市境南部入楚；周景王十六年（前529）吴灭州来，市境属吴；随着楚国势力的扩张，位于淮河上游的蔡国被迫几度迁都，求救于吴。周敬王二十七年（前493），在吴国的支持下，蔡国迁都于州来，改州来为下蔡。战国初期，周贞定王二十二年（前447），楚惠王灭蔡，市境属楚。战国末期，楚考烈王二十二年（前241）迁都于寿春，改寿春为郢，市境为楚国都城。楚王负刍五年（前223），秦灭楚。
1949年1月18日淮南解放。市境分属淮南矿区、寿县、凤台县。1949年3月，中共中央华东局决定在淮南三镇的基础上设立淮南煤矿特别行政区；4月，淮南煤矿特别行政区改设为淮南矿区。1950年9月，建县级淮南市。1952年6月，建立省辖淮南市。1977年1月，凤台县由阜阳专区划入；1999年11月，毛集社会发展综合实验区批准成立。2004年7月，孔店乡、三和乡、曹庵镇、史院乡、孤堆乡、杨公镇、孙庙乡由长丰县、寿县分别划入淮南市大通区、田家庵区、谢家集区。2015年12月3日,国务院批复同意六安市寿县划归淮南市管辖；2016年1月，寿县正式划归淮南市。今市辖田家庵、大通、谢家集、八公山、潘集区、凤台县和寿县以及毛集社会发展综合实验区。
淮南市境在构造单元上属于中朝准地台淮河台坳淮南陷褶断带（即华北地台豫淮褶皱带）东部的淮南复向斜。东界为郯庐断裂，西临周口坳陷，北接蚌埠隆起，南邻合肥坳陷，南北为洞山断裂和刘府断裂夹持。区内构造以北西西向构造占主导地位，受后期强烈改造，但总体形态变化不大，复式向斜内次一级褶皱及断裂发育。地质演化历史可分为前震旦纪、震旦纪—三叠纪、侏罗纪—第四纪3个阶段，前震旦纪，淮南地壳处于活动阶段；震旦纪—三叠纪属于剧烈运动时期，先后经历蚌埠、凤阳、皖南、加里东、华西力、印支等运动。其间地壳几度隆起沉降，形成海陆交互相地层。特别是晚石炭纪和二叠纪时期海陆交互相的沉积环境，成为煤炭资源良好的生成条件，从而形成境内大量的煤炭资源。侏罗纪—第四纪，经过燕山运动和喜马拉雅运动，逐渐塑造出今天的地貌特征。
淮南市境以淮河为界形成两种不同的地貌类型，淮河以南为丘陵，属于江淮丘陵的一部分，以寿县为例，北、中部为淮河冲积平原；西北部为沿淮河、淠河洼地；东南部为岗地。淮河南岸由东至西隆起不连续的低山丘陵，环山为一斜坡地带，宽约500～1500米，坡度10°左右，海拔40～75米；斜坡地带以下交错衔接洪冲积二级阶地，宽500～2500米，海拔30～40米，坡度2°左右；舜耕山以北二级阶地以下是淮河冲积一级阶地，宽2500～3000米，海拔25米以下，坡度平缓；一级阶地以下是淮河高位漫滩，宽2000～3000米，海拔17～20米，漫滩以下是淮河滨河浅滩。舜耕山以南斜坡以下，东为高塘湖一、二级洪冲积阶地,西为瓦埠湖一、二级洪冲积阶地；中为丘陵岗地。淮河以北为地势平坦的淮北平原，淮河以北平原地区为河间浅洼平原，地势呈西北东南向倾斜，海拔20～24米，对高差4～5米。
淮南市，辖寿县、凤台县2个县，大通区、田家庵区、谢家集区、八公山区、潘集区5个市辖区以及毛集社会发展综合实验区，共8个县级行政区；下设19个街道、59个镇、12个乡，共90个乡级政区；下设279个社区居民委员会、827个村民委员会。
寿县，辖寿春镇、安丰塘镇、安丰镇、板桥镇、保义镇、茶庵镇、大顺镇、丰庄镇、涧沟镇、刘岗镇、三觉镇、双庙集镇、双桥镇、瓦埠镇、小甸镇、炎刘镇、堰口镇、隐贤镇、迎河镇、众兴镇、正阳关镇、窑口镇22个镇，八公山乡、张李乡、陶店回族乡3个乡，共25个乡级政区；下设18个居民委员会，267个村民委员会。
凤台县，辖城关镇、凤凰镇、顾桥镇、桂集镇、新集镇、岳张集镇、朱马店镇、杨村镇、丁集镇、刘集镇、大兴镇、尚塘镇12个镇，古店乡、关店乡、钱庙乡、李冲回族乡4个乡，共计16个乡级政区；下设37个社区居委会，213个村民委员会。
大通区，辖大通街道1个街道办事处，上窑镇、洛河镇、九龙岗镇3个镇，孔店乡1个乡，共5个乡级政区；下设21个社区居民委员会，47个村民委员会。
田家庵区，辖洞山街道、泉山街道、淮滨街道、新淮街道、公园街道、田东街道、国庆街道、龙泉街道、朝阳街道9个街道办事处，安成镇、舜耕镇、曹庵镇、三和镇4个镇，史院乡1个乡，共14个乡级政区；下设100个社区居民委员会，45个村民委员会。
谢家集区，辖谢家集街道、蔡家岗街道、谢三村街道、立新街道、平山街道5个街道办事处，望峰岗镇、李郢孜镇、唐山镇、杨公镇4个镇，孙庙乡、孤堆回族民族乡2个乡，共11个乡级政区；下设37个社区居民委员会，56个村民委员会。
八公山区，辖土坝孜街道、新庄孜街道、毕家岗街道3个街道办事处，山王镇、八公山镇2个镇，共5个乡级政区；下设21个社区居民委员会，21个村民委员会。
潘集区，辖田集街道1个街道办事处，潘集镇、芦集镇、泥河镇、高皇镇、平圩镇、架河镇、祁集镇、夹沟镇、贺疃镇9个镇，古沟回族乡1个乡，共11个乡级政区;下设有37个社区居民委员会，141个村民委员会。
毛集实验区，辖毛集镇、夏集镇、焦岗湖镇3个镇；下设8个社区居委会，37个村民委员会（毛集实验区作为经国务院批准的社会发展综合实验区，不属于行政区划之列，在行政区划上，毛集镇、夏集镇、焦岗湖镇属凤台县管辖）。
截至2021年11月30日，淮南市总户数1254938户，总人口3897813人，总人口较2020年减少7296人。全市共出生28240人，男15004人，女13236人，出生婴儿性别比为113，出生率为7.2‰，比2020年下降2.9个千分点；全市共死亡11236人，死亡率为2.9‰，比2020年下降2.7个千分点；全市人口自然增长17004人，自然增长率4.4‰，比2020年下降0.1个千分点；全市总迁入人口44353人，总迁出68653人，机械增长率为负增长6.2‰，比2020年上升0.9‰。
2021年平均气温较常年（指1991-2020年，下同）基本持平。降水量较常年偏多近1成。日照时数较常年偏少近1成。
气温：2021年全市年平均气温16.7℃，较常年（16.5℃）偏高0.2℃，基本持平。2月异常偏高3.8℃、9月显著偏高1.3℃,4月、7月偏低1.4℃、1.5℃，其余月份较常年正常。春季（3-5月，下同）平均气温15.9℃，夏季（6-8月，下同）平均气温26.6℃，秋季（9-11月，下同）平均气温17.9℃，2020年/2021年冬季（2020年12月-2021年2月，下同）平均气温5.5℃。夏季较常年同期偏低0.9℃，其余季节正常。年高温日数（日最高气温≥35℃，下同）9天，较常年偏少9天。年极端最高气温36.5℃，出现在10月4日；年极端最低气温-9.9℃,出现在1月8日。
降水：年降水量1044.2毫米，较常年（984毫米）偏多近1成。7月降水量偏多1倍，5月偏多1.3倍，6月偏少7成，其他月份正常。春季降水量291.9毫米，夏季降水量549.4毫米，秋季降水量149.3毫米，冬季降水量71.8毫米,夏季较常年同期异常偏多2.3倍，其余季节正常。年降水日数101天（降水量≥0.1毫米），暴雨日数3天（日降水量≥50毫米，下同），其中大暴雨日数1天（日降水量≥100毫米，下同），即7月17日139.8毫米。6月12日入梅，较常年（6月21日）偏早9天；7月12日出梅，梅雨期30天，比常年偏多8天。2021年1月、2月和12月出现降雪天气，年雪日数4天，2021年无积雪日数。
日照：年日照时数为1853.7小时，较常年（1963.9小时）偏少近1成。年日照百分率为42%，年日照充足天数（日照率≥60%)141天，年日照不足天数(日照率<20%)134天