泰山神主管生与死的神权历史，可上溯至先秦时期。据顾炎武《考古录》云，泰山自周末便有了神仙的传说。春秋战国出现阴阳学、五行学之后，泰山就成为阴阳交替、万物发育的地方了。
东汉时，由于道教的产生，社会上随之出现了“泰山治鬼说”，泰山神便掌管了天下生杀大权，古帝王降禅之坛，一变而为阎王殿。唐代学者颜师古注《汉书》中“上亲禅高里”之句说：“此’高’字应为高下之高，二死人之里；高里山在泰山前麓，是鬼魄之地。”晋代干宝《搜神记》、张华《博物志》均言泰山掌管生死，书中还有不少托梦做阴间泰山官职而应验的故事。晋陆机的《泰山吟》颂道：“泰山一何高，迢迢造天庭。峻极周以远，层云郁冥冥。梁父亦有馆，蒿里亦有亭。幽岑延万鬼，神房集百灵。长吟泰山侧，慷慨激楚声。”
明人许仲琳在所编《封神演义》中，让姜子牙封周朝武将黄飞虎任东岳大帝之职：“执掌幽冥地府一十八重地狱，凡一应生死转化人神仙鬼，俱从东岳勘对，方许施行。”