东山名的由来，与区处州城之东且岗阜连片，广州人向称丘陵为“岗”、主岗为“山”之俗有关。“东山”最初是以寺名出现。“东山”以寺名相称始见于明成化年间（1465－1487）。总镇两广的内官太监韦眷于广州城东部（今署前路）建永泰寺，后亦称东山寺。清顺治八年（1651）重修东山寺，“东山”源此得名。因寺名而渐次将寺四邻成片的岗台地区泛称东山，大概始于清初。及至清末民初，这片岗台地开发成街村，侨房成批涌现，民俗习称寺四邻的街区为“东山”一直相沿未改。民国20年（1931），设立东山区公所，是市属行政区以“东山”命名之始。中华人民共和国成立后，东山区为人民政府接管，经历了三次分合和区名更改，1960年8月定称东山区。

2005年5月，广州市调整行政区划，撤销东山区及芳村区，而把东山区并入越秀区。