五岳一词,最早见于《周礼·春官·大宗伯》,“大宗伯之职,以血祭祭社稷、五祀、五岳,以貍沈(埋沉)祭山林川泽。”《礼记·王制》规定:“天子祭天下名山大川,五岳视三公,四渎视诸侯。”公元前219年,秦始皇封禅泰山,五岳地位由国家意志正式确立,逐渐成为华夏民族共同的意识形态。汉唐皆祀北岳于河北,即今河北唐县、阜平、涞源三县交界处的大茂山。后晋天福元年(936),石敬瑭即皇帝位,割让燕云十六州于契丹,后晋与契丹以大茂山分脊为界。北岳庙由今阜平县台峪乡千亩台迁至今曲阳县城内,距大茂山一百四十余里。山与庙的分离,造成古北岳的地位与影响有所下降。北宋淳化元年(990),北岳庙被契丹焚毁。次年,宋太宗下诏重修北岳庙。金朝大定年间,朝臣提出移祀建议,被太常卿范拱驳回。
金元之间,全真教在北方的影响不断扩大,今北岳的地位亦不断上升。据王鹗《浑源县真常子刘君道行记》记载,元太祖十五年(1220),真常子刘道宁在浑源长高定的邀请下,先后主持龙泉、金泉、玄元等道观。元太祖十八年(1223)秋天,刘道宁执弟子礼觐见丘处机,为丘处机看重,任西京道宫长十余年。丘处机死后,刘道宁与尹志平关系交好。元太宗八年(1236),尹志平谒全真教祖庭后,与刘道宁相会于“古恒岳之阳”。刘道宁一生几乎全部在大同范围内活动,古恒岳为今北岳恒山无疑。
金元之间,高道大德逝后,多葬于今北岳南麓仙人坟,石刻遗存甚多。如元至正三年(1343),冲虚妙道玄德真人衡公的墓碑,他去世前的职务是西京路都道録,碑阴刻有本宗道众28人,可见道教在今北岳发展之盛。另外,浙西道宣慰使浑源人孙公亮曾聘请全真教道士虚白处士赵素,教授他的儿子孙拱和孙擏,亦可见全真教在浑源的活动与影响。全真教在浑源的繁荣发展,有效地提升了今北岳的地位。乃至像王鹗这样的文人学士,已开始认同浑源州的恒山为古恒岳。
明朝立国之后,鉴于宋朝不能收复燕云十六州,疆境日蹙,无险可守,竟致亡国的局面,分封诸子为王,屯重兵镇守各州,逐渐形成辽东、宣府、大同、延绥、宁夏、甘肃、蓟州、太原、固原等九边重镇的防御体系。大同成为北京的门户,恒山成为国家的屏藩。有明一朝,经过明朝军事力量与浑源地方官员的不断推动,至弘治年间,今北岳已得到朝廷的认可。弘治六年(1493)七月,兵部尚书马文升请求将北岳祭祀由河北曲阳移至山西浑源,被礼部尚书倪岳驳回。弘治十五年(1502)、嘉靖二十五年(1546)、万历十四年(1586),吏部尚书马文升、户科给事中陈棐、大同巡抚胡来贡分别提出移祀请求,马、陈、胡诸人,皆认为浑源于四岳为正北。恒山当北方玄武七宿,象应昴毕,雄镇北维。国家建都于燕,曲阳在北京之南,浑源在北京之北,故应移祀北岳于山西浑源,诸人的建议为清代北岳移祀奠定了理论基础。
清朝入主中原后,仍于曲阳祭祀北岳。顺治十七年(1660)二月初四,刑科都给事中粘本盛条奏,请移祀北岳于浑源州。六月初三,粘本盛再次条奏,题为《申请恒岳祀典以祈雨泽事》,奏中称得到《恒岳志》三册,书中备载山灵胜迹,历代帝王祀典,于马匹繁育、风雨以时尤为灵验。七月十四日,礼部尚书王崇简等议得:“恒岳之祀,宜在浑源。”十一月十一日奉旨:“依议。”顺治十八年(1661)闰七月,康熙皇帝御极,遣工部右侍郎李呈祥致祭于北岳恒山之神。至此,从金大定年间就有纷争的北岳,历时近五百年,终于尘埃落定。其后,凡皇帝登基、太后圣诞、先帝配享圜丘、战事胜利等国家大事,都会派使臣至浑源祭祀北岳,以期国泰民安、风调雨顺、江山永固。