1926年9月，中共湖南区委员会，为贯彻中共中央扩大党的组织的指示精神，经李维汉和郭亮的推荐，决定派遣向钧前来衡山负责衡山县党组织的领导工作。

　　向钧，字俊奇，别号素我，湖南平江人。1906年出生。1921年在岳云中学读书时，通过表姐杨开慧的介绍，认识了毛泽东，受到马克思主义的熏陶，于1923年4月加入中国共产党，先后担任过长沙市学联常委，省学联执行委员，湖南省反对基督教大同盟和反帝大同盟宣传负责人等职。

　　向钧来衡山后，深入全县城乡，走访各共产党支部，了解党组织的活动和党员思想情况，积极开展党的工作。在他的努力工作下，1926年9月，也就是向钧来衡山的当月，中共衡山县第一次党员代表大会在县城武官巷子召开，到会代表40余人。会上，成立了中共衡山地方委员会，直属中共湖南区委员会领导。选举了中共衡山地方委员会领导成员，由向钧、刘爱农、周树屏、贺尔康、曾宪华等5人任执行委员，刘泽南、熊敦信为候补委员，向钧任地委书记。会议决定中共衡山地方委员会机关设康王庙。为了保密，地委代名“冯迪”，取“衡地”的谐音。地委组织部代名“周智”，取“组织”的谐音。

　　中共衡山地方委员会成立以后，地委委员们利用省、县农运、工运特派员的公开身份，积极在全县城乡秘密发展党员，建立党支部。到1926年11月，全县党员已发展到400多人，党支部增至20余个。1927年春，全县党支部达52个，遍布全县17个字号。党员最多的字号是“既”字和“于”字，既字(今石湾、油麻田、大桥湾一带)260人，于字(今岭坡坳、福田铺、沙泉铺一带)220人，一般字号50人左右。全县党员人数由400多人急增至1200多人，占全国5.8万党员人数的2.1%，党员人数之多，为全国县级之最。

　　康王庙为庙宇建筑，砖木结构，单檐硬山顶，小青瓦屋面，内有门厅、前后正厅、左右次房、天井，共计9间房屋。中共衡山县地方委员会执委们在这里办公、开会、交流情况。1927年1月，毛泽东来衡山考察农运时，曾在这里居住和召开座谈会，中共衡山地方执委就在这里向他汇报全县党组织、农运等工作情况。一段时间内，康王庙成为全县党组织的领导中心，农运工作的指挥中心，为衡山的革命工作作出了重要贡献。

　　1969年，衡山县革委会对康王庙进行大修，开辟了陈列室，并对地委会议室，毛泽东考察农运时住过的房间进行了复原陈列。

　　康王庙——中共衡山地方委员会和毛泽东考察衡山农运旧址于1972年9月被湖南省革委会公布为省级文物保护单位，1983年10月被湖南省人民政府公布为省级文物保护单位，1993年4月被湖南省人民政府再次公布为省级文物保护单位；2006年2月被湖南省妇联定为全省妇女儿童革命传统教育基地；2010年5月被衡阳市委宣传部公布为衡阳市爱国主义教育基地。