安吉更早的历史可追溯到秦朝设置故鄣县。据《越绝书》记载，秦始皇于三十七年（公元前210年）东游会稽，“徙大越民置余杭、伊攻、故鄣。”当时故鄣县幅员辽阔，大致包括现在安吉县全境、长兴县西南一部和安徽省广德县全境、郎溪县一部。故鄣县开始属鄣郡，后来属丹阳郡。鄣郡以故鄣县治为郡治，治所在今安吉县境内，是浙江全省境内出现最早的郡级治所。直到西汉元狩二年，即公元前121年改为丹阳郡，才将郡级治所迁往宛陵（今安徽省宣州市）。由于安吉以前在故鄣县南境，所以有人称安吉为鄣南。
三国吴宝鼎元年（公元266年），安吉属新设的吴兴郡。隋开皇九年（公元589年）废郡并县，安吉县被撤，并入绥安县。绥安初属宣州，仁寿二年（公元602年）又改属湖州。义宁二年（公元618年）复置安吉县，属吴兴郡。唐武德四年（公元621年），安吉改属桃州。武德七年，安吉县又被撤销，并入长城县（今长兴县），属湖州。唐映德元年（公元664年），复置安吉县。安吉县经过七十多年的撤而复设，从此稳定下来。