三国时，其地为乌桓、鲜卑所据。汉明帝时（58—75）在平城建通光寺，为大同最早的佛寺。

    晋大同北部为鲜卑族领地，南部为雁门郡地，其时郡已迁至广武，属县有：广武、崞、汪陶、平城、俊人、繁峙、原平、马邑。永嘉四年（310）晋并州牧刘琨，以拓跋猗卢有救援之功，上书晋怀帝，请封鲜卑拓跋猗卢为代公。建兴元年（313）拓跋猗卢定盛乐为北都，修秦汉故平城为南都，平城复还故治，属代国。

    北魏拓跋珪于公元398年自盛乐迁都平城，改号皇帝，改元天兴，并置司州、代尹，治代都平城。徙六州二十二郡守宰、豪杰、吏民三千家于代郡。“营宫室，建宗庙，立社稷”，进行一系列大规模的首都建设。次月“诏有司正超过计划畿，制郊甸”，划定京畿范围：“东至代郡，西至善无，南及阴馆，北尽参合。西至河（黄河），南至中山隘门塞，北至五原，地方千里。”又设四方四维，置八部帅统兵镇守。

    北齐天保元年（550）东魏被北齐所代，大同为北恒州、北朔州地，属县未有大的变化。天保七年（556）改北恒州为恒安镇（今大同），又名东州城，隶属恒州太平县，徙豪杰三千家以实之。翌年废镇，仍为北恒州。周齐之间，突厥渐强，为防御突厥、柔然、契丹，于天保三年（552）自西河总秦戍筑长城，东至渤海200余公里。天保六年（555）发夫180万人筑长城，自幽州夏口，西至恒州450余公里。天保七年（556）先自西河总秦戍筑长城东至海。前后所筑东西凡1000余公里。

公元557年西魏为北周所代替。建德六年（577）灭齐后，州县并废，复置恒安镇，改朔州置北朔州总管府。改太平县为云中县（此大同称云中之始）。灵丘属蔚州，为灵丘郡治