我国北宋著名的文学家、大书法家、诗人黄庭坚，于宋徽宗崇宁三年(公元1104年)被贬到宜州羁管。崇宁四年(公元1105年)9月30日，黄山谷病逝于宜州的南楼。宜州人民非常敬仰黄山谷的高尚品德和渊博学问，在他逝世以后，人民给他建祠纪念。八百多年来，宜州的黄山祠，迭经兴废。从1105年始建，到1986年重建，期间重修或重建达15次之多。

　　黄山谷病逝当年，宜州人民为了纪念他，即在南楼建起一间简陋的祠堂，这是宜州建祠崇祀山谷之始。只是祠堂很小，没有祠名，只有平湖张安国所书“豫章先生”四字匾嵌，悬于祠堂门上。

　　宋孝宗淳熙四年(公元1177年)，宜州太守韩璧在城外建山谷祠，有房6间。祠内供山谷先生的木刻肖像一尊，另外建造亭阁一座，名叫“清风阁”，阁内藏有山谷先生的书法手迹。几十年后圮废，遗址至今无法考据。

　　宋宁宗嘉定八年(公元1215年)，四川建昌人张自明以宜州教授代理知州时，与地方人士商议，在城西门外的龙溪旁(今广西轴承厂处)，买得前黄山谷所住的黎家旧址重建山谷祠。张自明自己捐出俸赢10万，提州用赢钱20万，又请得广西转运判官兼提刑狱方信孺拨盐运公款24万。总计面积四十多亩，前面是山谷祠，后面是龙溪书院。整个建筑分东西两部分，东西各建1个讲堂，2个斋室，4个居舍，1个仓库。祠的后面建造有亭阁一处，收藏黄山谷旧像，宝华亭旧匾以及黄山谷的字迹刻石。四周修建围墙，有重门，重门内有黄山谷亲手种植的古松两株，名为“万红门”，门外有一池；池中矗立一块形如半圭的大石，颜色墨黑，因此取名“墨池”。原来已圮废的宝华亭修葺一新。山谷祠及龙溪书院建成后，一共立了三块石碑：一块是张自明撰写的《龙溪书院记》；一块是山谷祠的田亩数及每年收获粮食数；一块是张自明画的《龙溪书院图记》。这次兴建，是历代规模最大的一次。但是历经宋末、元、明初二百多年变乱，除了仅剩一祠三碑外，其余建筑，田地都圮毁无。

　　明清时期，在庆远府供职的不少有识之士多次重修山谷祠，其中规模较大的有几次。明世宗嘉靖六年(公元1527年)，庆远府知府、安徽祁门人叶

　　，用罚款、积粟以及每年祭祀余款，加上地方名人李华乐捐的白银40两，在原址重修，建有一个讲堂。在讲堂墙上，写有白鹿洞学规，同时还建有斋室、仓房、厨房，又重修围墙，修建外门，门上横匾题名“龙溪书院”；在路口建牌坊一座，牌坊上横匾题名“黄山谷先生祠”。祠院建成后，用公款买田100亩，每年收入，主要用于祭祀。乾隆十八年(公元1753年)，庆远府署知府查礼，捐银四百余两重修，祠内设黄山谷木制碑位，并以张自明配祀。这次重修，有堂宇3间，两旁有厢房，前面设重门，整修墨池，宝华亭。建成后，查礼规定每年六月十二日黄山谷先生诞辰之际，举行隆重祭祀仪式。

　　清仁宗嘉庆六年(公元1801年)，广西巡抚谢启昆得到代理庆远府知府宋开衡有重修山谷祠想法的消息，特地捐俸资助，并寄给宋开衡诗一首，以示鼓励。宋开衡主持这次修葺，重建了山谷祠，奉祀黄山谷，并以范寥配祀。在祠后修黄山谷先生衣冠墓一座。

　　历代山谷祠，都是宜州地方人士讲学、祭祀的圣地。每年当值黄山谷先生诞辰之日，人们扶老携幼，远近跋涉赶来祭祀。山谷祠内蜡炬闪烁，香烟飘渺，祭祀歌声萦绕不绝。“遗蜕衣冠慷慨词，景仰一般同，苏门四学士，文章气节孰如公。南方创造新奇迹，无限深恩重。南楼希绛帐，歌讽岁月延天空，赢得胜名标显绩，开化第一功。祭祀千秋分，宜吾学界之尊崇。”字里行间，洋溢着祭祀者对黄山谷的崇敬之情。

　　后来由于-和种种原因，山谷祠被毁，祠内文物大多数散失，仅存一山谷自画像。1985年秋，0宜山县委、县人大常委会、县人民政府、县政协决定在白龙公园内重建黄山谷祠。在广西轴承厂的捐资支持下，1986年春破土动工，同时十月竣工。祠为古式建筑，重檐挑角，琉璃瓦面，祠内正中墙上立黄山谷自画像碑，祠后重修黄山谷衣冠墓一座。