殷商时期为应、桀部落。
西周时期为应候封地。
秦始皇统一中国后，属颖川郡、三川郡、南阳郡。
汉属三川郡、河南郡、北部属颖川郡。
隋朝分属襄城郡和颖川郡。
唐朝分属汝州郡、许州郡、襄城郡。
宋、元、明、清分属汝州、许州、裕州。
民国初年属河洛道、汝阳道。后期分属豫南道、豫东道、豫西道。
中华人民共和国成立后，分属洛阳专区、许昌专区。
1954年成立平顶山煤矿筹备处，地点在平顶山南坡的寺沟。
1955年6月，许昌专暑从宝丰、叶县抽调干部成立支援平顶山煤矿基本建设委员会，暂住西高皇。1956年1月成立中共平顶山矿区委员会。同年三月，成立许昌专暑平顶山办事处，下辖东高皇、西高皇、大营、井营四个乡。
1956年1月，许昌专暑成立“许昌专员公暑平顶山办事处”，那时群众叫他“矿区政府”，办公地点临时设在大营村。后又迁到现公安局院内。
1957年3月，经国务院批准成立平顶山市，为县级省直辖市。
下辖诸葛庙、西高皇两镇和大营、井营、东高皇、姚孟四乡。1957年，市政府委员会迁入现市中医院院内四合院平房办公。后来，位于中心广场的原市政府大楼完工，市委、市政府都迁入此楼办公。
1958年，市区设立五个街道办事处，城市建设开始起步。矿务局直接归平顶山市委管。
1960年，撤销宝丰县，将其划入平顶山市，次年，又恢复宝丰县制，仍归许昌专暑领导。
1964年3月，平顶山市改为平顶山特区，实行双重领导，以煤炭部领导为主，河南省领导为辅。
1968年3月，恢复平顶山市，仍为省直辖市。同年，经河南省委批准，成立平顶山市革命委员会。1969年 平顶山撤销省直辖市，成为地级市。同年，设置新华、卫东两区
1971年，设置西区。
1977年，舞钢区划入平顶山市，1979年又划入许昌专区 。1982年舞钢区重新划入平顶山市。
1983年9月，分属许昌专区的襄城县、郏县，洛阳地区的临汝县划入平顶山市。
1988年，撤销临汝县设汝州市。1990年，撤舞钢区，设舞钢市。二市均为河南省计划单列市，由平顶山市代管。汝州市2010年被省发改委确立为省直管试点县市。
1994年8月，民政部批复同意将平顶山市郊区更名湛河区。1996年襄城县划入许昌地区。1997年，国务院批准设立石龙区。
只此，全平顶山市辖有新华区、卫东区、湛河区、石龙区四区和宝丰县、叶县、郏县、鲁山四县。