距今5000—10000年前，三江流域沿岸已有先民活动。公元前2000年左右，乐山出现铜制器具。公元前600年前后，以鳖灵为首领的开明氏部族定居青衣江流域，在此生息繁衍，开垦荒地。
战国公元前309年，秦武王派兵南下，灭掉开明氏原管辖地区统治，秦国在今乐山市市中区建立南安县，从陕西泾水地区迁来大量人口到青衣江流域定居。
公元前256年，李冰组织乐山人民凿断凌云山崖，开出引水渠道。从此，岷江，大渡河在乐山一带的水上航运逐步发展起来。
汉朝将南安隶属于犍为郡。西汉文帝时，南安人邓通铸造钱币，有“邓氏钱布天下”的说法。
三国时期，蜀国丞相诸葛亮在犍为铁山冶铁制造武器、工具等，乐山的冶炼规模和技术已达到先进水平。
魏晋南北朝，东晋末年，南安设置治官县，重点对迅速发展起来的冶铁业实行管理。这一时期，原来居住在广西、贵州、云南一带的十多万僚人进入四川，乐山犍为铁山以及三江流域聚居了大批僚人。居住生活延续了二百多年。
南北朝时期，因战乱不断，乐山地区的建制屡有变迁。
北周时置嘉州，取“郡土嘉美”之意。在乐山设置平羌县管理僚人。
隋朝置眉山郡。原南安县改名龙游县，传说是隋朝军队从成都乘船向乐山进军、追击陈国败兵时，岷江中有游龙导航，帮助隋朝军队统一天下，因此改南安为龙游。中央政府在乐山增设夹江、峨眉两县。此时，乐山能造黄龙大船，成为四川江河沿岸的重要造船基地。
唐复嘉州，眉州。种茶业已十分发达。岑参赋诗描述嘉州城外“田半种茶”。唐朝中期开凿了举世闻名的乐山大佛。