“吉水”县名的由来，缘于建县前夕，庐陵郡守与南昌万寿宫的道教大师郭璞等人沿赣江考察，他们见赣江与恩江在吉水汇合处，有一沙洲，二水缭绕于该洲之间，俯视流水，状若“吉”字，于是以“吉水”命名，县名由此面来。
早在新石器时代，就有先民在吉水这片土地上繁衍生息。夏商时，吉水属扬州。春秋时，吉水为吴地。战国时，吉水先属越后属楚。秦、西汉时，吉水属九江郡之庐陵县。东汉至南北朝时，吉水被石阳县、吉阳县分而治之。隋朝初期，吉水为庐陵县辖地。
隋朝大业年间（615—617），吉水设县。当时划出庐陵县水东11乡设立吉水县，治所设在文峰。此后，吉水的建置，立废更迭，变化频繁。唐乾元年间，吉水由县改为吉水镇，唐末时又由镇改为吉阳场，史料中有解世隆“筑城吉阳场，时吉水久废为场”的记载。五代杨吴时复为县，隶属新干都制置使。南唐初，吉水由县改为吉水场。950年，吉水由场升为县，归吉州管辖。治所仍设文峰。
北宋、南宋时，吉水以县建置未变，但管辖区域却有所变化。1054年，将吉水的云盖、龙云、兴平、永丰、明德5乡划出，设立永丰县。1092年，将庐陵县的同水乡及新嘉里与吉水县的顺化乡互换。1151年，又划出吉水的迁恩乡归永丰县管辖。
1295年，元朝流治者将吉水由县升为州，这是吉水历史上的最高建置。1369年，朱元璋将吉水由州降为县，隶属吉安府管辖。此后630多年里，吉水以县建置未变，直到今天。
吉安，古称庐陵、吉州，治所设在今吉州区。历史的长河中，吉安的治所却有一段时间设在吉水。公元96年，东汉和帝将新干、庐陵县北面的地域划出，设立石阳县，治所设在吉水县城往北8里处的固州村。191年，汉献帝分豫章郡而设庐陵郡，治所先设在新干，280年时又迁至固州，与石阳县治所同在一起。589年，隋文帝将庐陵郡改名为吉州，将石阳县改名为庐陵县，并把吉阳县并入，但州、县治所未变。682年，吉州的治所才由固州迁到现在的吉安市区。今天，固州村仍存有吉州亭、石阳古城遗址，吉水也有“吉州驻固州，代代出知州”的民谚流传。
皇寮书院是吉州驻固州时创建的。唐贞观年间，当时任吉州通判的刘庆霖在固州西北边的竹林里创建了皇寮书院。该书院是全国设立时间最早的书院之一，比唐明皇设立的丽正书院还早七八十年，在中国书院史上有一定的地位。皇寮书院在史料中多有记载，《全唐诗》所提及的11所书院中，就有皇寮书院。
吉水建县后，由于管辖区域的变化，使欧阳修、文天祥、胡广等先贤的县籍发生了相应的变化。欧阳修（1007—1072），今永丰沙溪人，北宋著名的文学家、史学家、政治家。因1054年设立永丰县，欧阳修48岁时就由吉水县籍变更为永丰县籍。文天祥（1236—1283），今青原区富田人，南宋丞相、文学家。吉水建县后，富田一直归其管辖。明朝时，富田才划归庐陵县管辖，2000年又划入新设立的青原区管辖。胡广（1370—1418），今青原区天玉人，明朝状元，官至翰林大学士兼左春坊大学士。天玉镇系临江乡易名而来，原是吉水辖地，上世纪末因隶属关系的变更，现归青原区管辖。
1300多年的沧桑岁月，使吉水积淀了深厚的历史文化底蕴。翻开史书，有“吉水文风盛于江右”、“翰林多吉水，朝士半江西”的记载 。走近百姓，有“一门三进士、隔河两都堂、五里三状元、十里九布政、九子十知州”的民谣流传，这些都凸显了吉水深厚的历史文化底蕴。