生活在丹霞山外围的古越族先民，流传着女娲在此造人补天的传说，据说现在的坤元山（又称地母岭、睡美人）就是女娲憩卧留下的形骸。山下的河流产五彩锦石，汉代时就称为锦江，这五彩石据说女娲补天散落的石子。 另一个传说是距今4000多年前，舜帝南巡经过此地，登山而奏韶乐，其因韵出奇动听，遂命名为韶石山，并命三十六石，即现在的韶石山景区。隋代以韶石之名改东衡州为韶州，即韶关市。

宋代在韶石山曾建有韶亭、望韶亭、尽善亭和多座寺庙。历代文人均慕名前来凭吊抒怀，唐代的韩愈，宋代的苏东坡、杨万里等都有诗词留传。 明嘉境年间修编的《仁化县志》所载伦以诗谅曰：“水尽崖底见，丹霞碧汉间。女娲五色天，虞舜千年山。┉┉”就是对上述历史事件而抒发的感受。

隋唐时期丹霞山以成为岭南风景胜地，同时也开始有僧道居士进山经营，明清时期达到最盛。目前在风景区内发现的石窟遗迹就有40多处，据传现阳元山景区内的混元洞、狮子岩一带，远古时期就有道元真人在此修炼。青云岩隋唐时已有佛家香火，以后狮子岩也有佛家经营，后传入朝阳岩，故当地百姓有"青云、狮子、朝阳岩"之说，表示佛家的香火传播次序。北宋琮宁年间法云居士在锦石岩建庵堂8座，丹霞山长老峰也变得香火兴盛。

明朝末年，江西虔州（今赣州）巡抚李茂偕其弟李充茂，抗轻复明壮志未酬，来丹霞山隐居。后又碾转两广，扶持南明政权，对抗清廷。终无力回天，卒于苍梧。其弟李充茂邀请广州海幢寺澹归禅师，舍山建庙，创建别传寺，一度香火兴盛，而成岭南一大禅林。清末以后，战乱频仍，丹霞山区内各寺庙逐渐荒废。直到改革开放以来，修复或重建了锦石岩、别传寺殿堂，众僧尼返山经营，丹霞山的宗教事业得以空前兴盛。

丹霞山的道教活动历史悠久，但发展缓慢。据传在很久以前就有道元真人在狮子岩--混元岩一带修炼，功成而去，留下众多相关遗迹。另在翔龙湖岸的仙居岩，相传是道教创始人张天师降白虎、救青龙时居住的岩洞，后人曾在此建坛侍奉香火。直到清乾隆58年，仍有记载锦石岩尚有道士活动，道人陈誉深入韶山腹地，重修金岩庙。近年风景区已斥资在仙居遗址上，重修仙居观，恢复道教活动，并计划重修狮子岩庙。

丹霞山区的古越族先民，很早以前就利用天然洞结穴而居，在悬崖之顶构筑山寨，以避战乱或躲匪盗。以致目前山上保留了大量各个时期的古山寨和崖墓、悬棺等墓葬文化景观，有"逢山有寨，逢寨有山，逢门必险"的说法，构成山区文化遗迹的另一大特色。由于丹霞山历史上很早久成为岭南风景名山，故各代都有文人墨客赋诗题咏，刻石立碑。仅目前收到的丹霞山、韶石历代游记、开山记、诗词等以达300余篇（首）；仅丹霞山长老峰一带的摩崖、刻石、碑刻等就有几十处，形成遍布于山道旁的文化景点。丹霞山的文化遗迹是构成丹霞山旅游资源的一个重要组成部分，尚有待于进一步的发掘。