据考，早在远古时期，稷王山一带就有原始部落繁衍生息。传说，当时的部落首领为了部民生活和部落繁荣，曾命她的一位臣子率众人四处奔波让坦以种植黍谷(古称“稷”)，结果在汾河下游的这片黄土地上获得了成功。他们日出下山而作，日落上山而息，逐渐使这一带成为部落的粮仓。首领为了激励更多的部民垦荒事农，便册封这位臣子为“稷王”，册封坦衡桐这座山为“稷王山”。稷王死后，也就葬在了这座山上。据说，当时人们为了表达对稷王的崇敬、怀念之情，便在山上修建了一座庙，取名稷王庙。此后，大凡在此地为官的人，每年都要到山上的稷王庙去祭拜稷王。
说来也颇有意思。像是真有这么回事一样，在稷王山的山石中竟真有一种明亮发光的玉质石子，大小形状有的像麦粒，有的如黍稷模样，有的似谷子玉米，还有的形若芝麻或各种豆粒，甚至还有似南瓜籽者。因此，古人不知从何时起即把它们称作为“五谷石”。古人在稷王山采拾“五谷石”时据说有一传世规矩，那就是采拾者不能言语，如言语则终日不能获得一粒。这传世的规矩，无疑增加了稷王山作为中国农业始祖之神后稷诞生之地的神圣性。民国初年有一个解州籍人李子祥，曾先后在闻喜东镇区和稷山清河区任职，对稷王山颇多考察。他曾写过一篇《游稷山感后稷教稼之功德记事》。此文章后来被收入顾颉刚先生编著的《古史辨》第二册中。这位李子祥先生曾热情建议，应把稷王山的“五谷石”搜罗采取，供之本省陈列和农会研究品题，再输送京、津、沪、汉博物院，为全世界所注目，尊重拦信中华，推本农业，使人知山西有后稷神圣，景仰崇拜，稷、闻之荣，亦三晋之光。”六七十年前的乡镇级职员已能有如此想法，也真令人吃惊。这话实际说得也对。科学无论发达到什么时候，人只要还吃粮食，那就不该忘记后稷的培育五谷与教民稼穑之功德。对后稷，应该犹如对黄，帝一般去给予纪念。