天山庙，又称天山关帝庙。始建于唐代。是丝绸之路新北道繁华时期，由信奉道教的商人们集资修建，他们供奉关羽为保护神，称为“老爷庙”。
天山庙的地理位置，恰恰处于东天山南阳北阴通道的咽喉部位。在这里建庙，不仅仅因为信仰，而且也是古人为西征将士在途经此处时，有个避风躲雪的所在和提供一种精神上的撑持。可见用心之良苦。
北宋时期，醉心道教的宋徽宗再次封关羽为帝，路经哈密东天山的商旅和常年生活在山脚的百姓重修老爷庙，并尊称此庙为“关帝庙”，常到天山庙敬供香火，希冀关羽保佑平安，希望上苍降福人间，因而香火在唐宋几百年间常盛不衰，成为丝绸之路上一个著名的道教圣地。
天山庙坐守海拔2700多米，是南北古道的最高处。站在庙前广场向下俯瞰，天山南面的松林草原、北面的绿洲戈壁尽收眼底，一览无余。
清同治年间，哈密办事大臣文麟在原有祠址重建天山庙时，把原“天山庙”改名为“天山关帝庙”。取“关帝”忠君护义之意，后遂以此名传世。到公元1882年，哈密办事大臣明春又修此庙。据史料记载：其时，修庙所用砖瓦材料，均是绑缚于羊背上，让羊群一次次零星驮上山顶。可想修葺之艰辛。
天山庙旁原有一小屋，屋内藏有多块碑刻，最著名的就是唐代“姜行本纪功碑”，现收藏在自治区博物馆。
据清方士鑫《东归日记》记载，原庙内颇多联额，其中一幅对联为清代徐松所题：
赫濯震天山，通万里车书，何处是张营岳垒
阴灵森秘殿，饱千秋冰雪，此中有汉石唐碑
最为贴切地道出了“天山关帝庙”的历史存在意义和藏有众多碑刻的突出特点。
围绕藏碑，还有不少的民间传说，有的传说更带有神话描述。文人方士淦在《东归日记》中有这样的介绍，古碑“自来不许人看，看则风雪立至”。“道光八年(公元1828年)伊犁领队大臣到此，必看此碑，庙祝跪求不允，强进屋内，未及看完，大风忽起，扬沙走石，其趋马下山，七十里至山下馆店，大雪四日夜，深者丈余，马厂官马压死者无数，行路不通，文书隔绝数日。吁!真不可解也。”著名诗人萧雄也曾在《天山碑》的诗作中写道：“丰功又见大唐年，贝履高攀峻岭巅，却怪登临刚剔藓，读来风雪忽满天。”古人为天山庙风雪的神化渲染，无疑又为天山庙这一胜景增添了不少传奇色彩。
