彭山县在战国时期，为蜀国之地。公元前316年秦灭蜀后，设置郡县，置武阳县（县治地在今彭山县江口镇平茯村），属蜀郡。南朝梁武帝天监四年（505年），分武阳县地置灵石县（约今彭山县境）。大同十年（544年），改灵石县为犍为县（一说为江阳县），属江阳郡。西魏废帝元钦二年（553年），撤犍为县置隆山县（约今彭山、新津两县地）。县治地由岷江东岸迁到岷江西岸（今彭山县凤鸣镇），属江州。历北周至隋，县名无变动。唐玄宗先天元年（712年），因犯李隆基讳，改名彭山县（以境内彭女山为名），属眉州。历前蜀、后蜀、北宋、南宋、直至元末，隶属关系无变动。

明太祖洪武十年（1377年）五月，彭山县并入眉县（洪武九年降眉州为眉县，属嘉定州）。洪武十三年（1380年）眉县升为眉州，十一月复置彭山县，属眉州。这是彭山县的第1次省并。

清康熙元年（1662年）彭山县并入眉州。雍正六年（1728年）复设彭山县，仍隶属眉州，这是彭山县的第2次省并。

中华民国时期（1912—1949），彭山县先后隶属上川南道、建昌道、第四行政督察区。

1950年1月，彭山县属川西区眉山专区管辖。1953年初，眉山专区撤销，彭山县划归乐山专区管辖。1959年4月，彭山县并入眉山县（这是彭山县的第3次省并），为眉山县彭山区（区公所设彭山镇）。1962年11月，恢复彭山县，仍属乐山专区。1968年改地区为专区，1985年5月乐山区改为乐山市（省辖市），彭山县的隶属关系未变。1997年8月行政区划调整，彭山县划归眉山地区管辖。2000年12月眉山地区改为眉山市（省辖市）。