早在新石器时代，义乌地区就已有人类活动。东周时期，义乌归属于越国。公元前339年至329年，越楚交战，越国败于楚国，义乌归属于楚。秦王政25年，出兵定江南，平百越，建县名为乌伤，归属于会稽郡。西汉沿袭秦制。新莽时（公元9年）改县名乌孝。东汉建武初年复名乌伤，属会稽郡西部都尉治。

汉初平三年（192年）分割西部辖境，设置长山县（即后之金华县）。三国吴赤乌八年，分乌伤南面部分辖境归于永康县。宝鼎元年，原会稽郡西部分设出东阳郡，乌伤归东阳管辖，且经过晋和南朝270多年，行政关系未变。梁、陈时期，东阳郡更名为金华郡，乌伤仍隶属之。后隋朝时又复名金华为东阳。唐武德四年（621）东阳郡改称婺州，于乌伤县置稠州，并分置乌孝、华川二县。武德七年（624年）废稠州，合乌孝、华川为一县，改名义乌县。稠州以稠山(德胜岩)而得名。唐垂拱二年（686年）析义乌县东境设东阳县。天宝十三年（754年），又分县境北部及兰溪、富阳各一部分，设浦阳县（今浦江县）。元代，义乌隶属婺州路总管府。1358年朱元璋部攻取婺州，改婺州路为宁越府。1362年又改名金华府，清代仍旧，义乌隶属关系未变。辛亥革命后，废府制代以道制，义乌属金华道。1927年废道制改为省县两级制，义乌直属浙江省。后设行政督察专员公署，义乌属金华专区或浙江省第四专区。

1949年5月8日义乌解放。新中国成立后，义乌属金华专区。1959年浦江并入义乌，1967年析出。1988年义乌撤县建市。

义乌名人辈出，著名的有“初唐四杰”之一骆宾王、宋朝抗金名将宗泽、金元四大名医之一朱丹溪及现代教育家陈望道、文艺理论家冯雪峰、历史学家吴晗等。

义乌素有文化之乡的美誉，获得了“全国文化先进县”、“全国体育先进县”、“中国武术之乡”、“中国现代民间绘画之乡”、“中国曲艺之乡”等荣誉。

义乌方言是浙江南区吴语婺州片中的一个小分支。全市均讲吴语，但由于与外地交往频繁，义乌话受邻近方言的影响较大，内部差异也较明显。故常有“义乌十八腔，隔溪不一样”的说法。

义乌道情发源于明朝万历年间，与绍兴莲花落、温州瑞安鼓子词、杭州评弹都是为浙江群众喜闻乐见的民间艺术。义乌道情与众不同，它没有固定的曲调，常常由演艺者自行根据嗓音特点和说唱曲调随意发挥，以好听入耳为目标，因此，义乌道情在很长时间内流派纷呈，在曲艺界独树一帜。

义乌以科技馆、图书馆、艺术馆、博物馆等重要文化基础设施为中心的国际文化中心正紧锣密鼓地建设中，社区文化、广场文化开展的有声有色。