白山市有着悠久的历史，地上地下保存着极其丰富的古代文化遗存。从目前已知的考古资料证明，早在二万年前的旧石器时代晚期就有人类活动的足迹。抚松县新屯子遗址出土的文物反应出了白山市特有的文化面貌与文化内涵。 随着新石器和青铜时代人类在此活动的进一步扩展，人类在此活动的地域范围也逐渐扩大，留下了众多的宝贵文化遗存。其中临江市苇沙河遗址、抚松县小南山遗址的发现对探讨长白山腹地与邻近地区的古代交流等诸多问题提供了丰富的科学资料。

商末周初，属燕辽东外徼。汉至隋唐时期属高句丽。现今分布于我市的高句丽遗存中，最富特点的为遗址与墓葬。长白干沟子墓葬的发现与高句丽积石墓的发展和演变起到了承上启下的重要作用。唐朝时属渤海国。“长白灵光塔”是全国唯一的唐渤海时期最具有典型意义的一座古建筑。

临江是渤海国五京之一的西京鸭绿府治所神州，地扼渤海通长安“朝贡道”水陆交通枢纽，凭借这种优越的地理位置，临江成为繁华的城市，高度发展的唐代经济文化，通过这里输入到黑龙江下游和乌苏里江东西各地，对古代东北各族经济文化的发展起到了重要的促进作用。

“宝山——六道沟铜矿”的发现为研究东北古代少数民族的采矿、冶炼工艺及生产力水平，补充史料记载之不足，说明中原与边疆各民族的文化交流等都具有重要意义。公元926年，辽灭渤海国，渤海遗民以白山地区为中心建立起定安国，联宋抗辽，后来辽在临江地方置绿州，驻鸭绿军节度使。这里成为当地著名的军事重镇。元代属辽阳行中书省。

明代属奴儿干都司长白山部，末期为努尔哈赤所并，成为建州女真族的一部分，为建军州卫所辖。清朝把长白山看作为满族发祥地，于康熙十六年（公元1677年）对长白山实行封禁。直至清朝晚期才解除对长白山区的封禁政策。

抗日战争时期，第一路军总司令杨靖宇与副总司令兼第二军军长王德泰同志并肩作战，白山地一度成为东北抗日联军第一路军抗敌的主要战场。在抗日战争中，作为朝鲜金日成主席少年时代同窗挚友的张蔚华同志，利用经商作掩护，为金日成领导的抗日队伍筹集运送了大批急需的枪支弹药和军需物资，并曾亲自解救金日成于危难之中，张蔚华同志为东北民主抗日联军打击日寇与中朝两国之间的友谊作出了重要贡献。

东北解放战争初期，白山地区成为我党我军支持南满斗争的唯一的根据地，临江一度成为中共中央东北局辽东分局，辽东军区及辽宁省政府的所在地。陈云、肖劲光、肖华等同志在这里组织和指挥了著名的“四保临江”战役，粉碎了国民党军队“先南后北，南攻北守”的战略方针，为东北解放战争及全国解放战争的胜利奠定了基础。