春秋战国时，江山为姑蔑一部分。春秋末国属越国，战国后期属楚国。秦王政二十五年（公元前222），属会稽郡太末县。新王莽始建国元年（公元9年），改太末县为末治县，东汉建武元年（公元25），恢复太末县名。先后属末治县、太末县。东汉初平三年（192），析太末县西部置新安县，属会稽郡新安县。三国时期孙吴宝鼎元年（266），划会稽郡一部置东阳郡，属东阳郡新安县。西晋太康元年（280），改为信安县，南朝陈天嘉三年（562），东阳郡改为金华郡，隋朝初年，又易名婺州，大业三年（607）复为东阳郡。

唐武德四年（621），析信安县之南川置须江县，以城南有须江得名，隶属越州总管府衢州，为江山建县之始。武德六年，属婺州管辖，垂拱二年（686），恢复衢州，江山属衢州信安县，689年复置须江县，属衢州。

五代后唐长兴二年、吴越宝正六年（931），钱鏐因县南有江郎山，改须江县为江山县，南宋咸淳三年（1267），改名礼贤县，1276年复名江山。

清宣统三年（1911），辛亥革命后，属衢州军政分府管辖。民国元年，直属于省。三年，省以下设道，属金华道，16年废，24年，属省第五行政督察区，37年，改隶第三行政督察区。

 1949年5月6日，江山县解放。7月1日建浙江省第三专区，属第三专区；10月，第三专区改称衢州专区，属衢州专区。1955年改属金华专区。1985年分设金华、衢州两市，属衢州市。

1987年11月27日，国务院批准撤销江山县，设立江山市（县级），属衢州。

2000年，江山市辖15个镇、14个乡。 江山市区位图

2005年12月31日，江山市辖2个街道、13个镇、6个乡：虎山街道、双塔街道；上余镇、四都镇、贺村镇、淤头镇、凤林镇、峡口镇、长台镇、石门镇、大桥镇、清湖镇、坛石镇、新塘边镇、廿八都镇；张村乡、保安乡、碗窑乡、大陈乡、塘源口乡、双溪口乡。

截至2012年6月，江山市辖2个街道、12个镇、6个乡：廿八都镇；张村乡、保安乡、碗窑乡、大陈乡、塘源口江山市地貌类型多样，以山地丘陵为主，素有“七山一水二分田”之称，其中平坂和溪间谷地占11.2%，山地丘陵占88.8%，地势东南高、西北低，中部为河谷地带，整体为不对称的“凹状”。市域东南部为仙霞岭山脉，从福建浦城与江山市交界处枫林关入境，往东延伸，以中山为主，山势陡峻，海拔千米以上山峰105座，最高峰1500.3米；西北为怀玉山支脉，从江山大桥镇杨岗入境，为江山与常山的分界线，以低山为主，山势较缓，最高峰湖山尖895.4米；中部为河谷盆地，东起江山四都一带，呈长条状向西南延伸至江西省境内。盆地内，江山江两岸，峡口至茅坂段为冲击平原，西部为红岩低丘，东北部长台溪切穿和睦一带高丘，形成山前的红土低丘和冲击扇。乡、双溪口乡。

江山市地处中亚热带北部湿润季风气候区，受地形影响，兼有盆地气候的某些特点，冬夏季风交替明显，四季冷暖干湿分明，光照充足，降雨充沛，雨热同期。 多年平均气温为17.0℃,无霜期为249.7天左右，因地形影响，市域内雨热水平差异较大，立体气候明显，中北部海拔250米以下河谷丘陵和平坂，年平均气温在17℃以上。南部中、低山地，年平均气温不足17℃。1月平均气温海拔200米以下的河谷地区在5℃

江山市2010年第六次全国人口普查显示：

江山市常住人口为46.79万人，同第五次全国人口普查2000年11月1日零时的47.33万人相比，十年共减少0.54万人，下降1.14%。江山市常住人口中市外流入人口为1.99万人，占4.25%。

江山市常住人口中共有家庭户[4]17.56万户，家庭户人口为44.96万人，平均每个家庭户的人口为2.56人，比2000年第五次全国人口普查的2.84人减少0.28人。

江山市常住人口中，男性人口为23.45万人，占50.12%；女性人口为23.34万人，占49.88%。总人口性别比（以女性为100，男性对女性的比例）由2000年第五次全国人口普查的104.1下降为100.49。

江山市常住人口中，0-14岁人口为8.30万人，占17.73%；15-59岁人口为29.60万人，占63.27%；60岁及以上人口为8.89万人，占19.00%，其中65岁及以上人口为5.93万人，占12.68%。同2000年第五次全国人口普查相比，0-14岁人口的比重下降3.63个百分点，15-59岁人口的比重下降0.56个百分点，60岁及以上人口的比重上升4.19个百分点，65岁及以上人口的比重上升1.88个百分点。