經過了天門谷之戰，聶衝遠如願以償成爲了衡山派掌門，他的大師兄彭科彪則受傷逃匿於江湖，不知去向。這是衡山派一場規模空前的內鬥，經過此戰之後，衡山派精英十分八九，再無往日之強盛。
彭科彪逃亡，雷進平與江慶等高手也盡皆戰死，剩下都是些顧紅顏.袁文之流的小輩弟子。聶衝遠雖然當上了掌門，現在卻比沒當上掌門還要失落，因爲他接到手的衡山派，已經破敗不堪。
因此從天門谷回來之後，聶衝遠便一直悶悶不樂。其實暗殺彭科彪原本就不是他的意願，他事先也根本不知道此事。一切只是江慶等支持他的人一廂情願，暗中策動了這次行動，等到他發現江慶的意圖之時，一切都爲時已晚。
雷進平等人雖然身中迷香，但由於人多勢衆，廝殺起來，江慶等人也沒有佔到太大便宜，結果雙方都死傷慘重，兩敗俱傷。爭鬥中僥倖活下來的人，也大多如彭科彪一般，隱匿江湖了。
龍陽真人的五弟子祝無雙，是這場爭鬥中的等三種人——兩不相幫。當然，這些人雖然不多，卻也不止他一個。天門谷之戰開始之時，他們開始還不斷勸阻，卻哪裡勸阻得住，到頭來，很多人也受到了池魚之苦。
衡山派大堂內，聶衝遠終於坐在了以前龍陽真人的位子上。他坐在這個位子上，此時卻思緒萬千，無比複雜。如果他知道會是這樣的結果，他也許會放棄這個位置。可現在，他的的確確坐在這個位置，以許多同門的性命作爲代價。
門外進來一個人，正是刀疤臉祝無雙。祝無雙此時身上揹着一個包袱，手上提着自己的劍，一看便是要遠行的打扮。
聶衝遠見了，心中着急起來，立馬起身問道：“五師弟，你也要走？”
祝無雙說道：“不走，留在這兒又能幹什麼？”
聶衝遠眼神露出哀求的神情：“他們都走了，你再走，衡山派就真地人去樓空了。”
祝無雙冷笑道：“這不正是你想要的麼？你不就是想要把我們逼走麼？我們都走了，只剩下些小輩，再也沒人會跟你爭這掌門之位了。”
聶衝遠：“祝師弟，不是你想的那樣。”
祝無雙突然怒問道：“不是這樣，那是怎樣？大師兄本來已經將掌門之位讓給了你，你卻還設計殺他，你這樣恩將仇報，實在讓人寒心。”
聶衝遠兩眼隱隱有淚光：“我也沒想到會這樣的。”
祝無雙道：“但是已經這樣了。”
祝無雙說完，轉身大踏步而去。剛走到門口，突然聶衝遠做出了一個令人吃驚的舉動，一下子跪在了地上，跪在祝無雙的身後：“求求你，五師弟，別走。你一走，衡山派就真地很難在江湖上立足了。”
祝無雙淡淡說道：“我走了，不是還有你麼？你可以算計古墓天，可以算計梵沽然，也可以算計大師兄，自然也一樣能算計別人。有這樣的算計，衡山派自然能在江湖上立足，何況衡山派不是還有七星劍這樣的絕世神兵麼？”
祝無雙說完，轉過身來，見聶衝遠跪在地上，又冷笑道：“快起來吧！師兄跪師弟，那是要折壽的。況且男兒膝下有黃金，你有時間跪我，還不如多去想想怎麼治理你的衡山派。”語氣上在“你的衡山派”這五個字上加重。他說的是“你的衡山派”，言下之意便是已將自己不再視爲衡山派之人了。
聶衝遠再也想不出什麼理由來挽留祝無雙，只得眼睜睜看着他出門下山而去。
祝無雙走了許久，聶衝遠才緩緩從地上起來，接着便像灘爛泥一樣倒在掌門大椅上，思緒如亂麻一般。突然間，聶衝遠揚起右手，狠狠抽了自己幾個大嘴巴。
又過了一陣，賀方帶着彭科彪的其它小輩弟子也進來了。賀方是彭科彪的大弟子，聶衝遠知道彭科彪一向對自己的弟子十分愛護，見了些這種情形，更加急了。如果連這些小輩弟子也走了，衡山派可能就只剩下衡山.而沒有派了。這樣想着，焦急萬分地問道：“連你們也要走？”
賀方聽了搖搖頭道：“不，師父曾經交待過：如果他走了，就讓我們拜師叔您爲師，繼續學藝。”
聶衝遠聽了有些吃驚，問道：“你說你師父早就交待過？”
賀方道：“是。”
聶衝遠更加吃驚，他這時才明白，彭科彪其實早料到了這麼一天。可是他雖然料到了這一天，卻還是遭了暗算，理由只有一個，就是他根本沒真想與自己爭奪掌門之位。聶衝遠這時才知道自己又犯了一個大錯誤，一個無法彌補的錯誤。
這樣的錯誤，他已經不止犯過一次了。
這樣的錯誤，還要繼續麼？
他不敢想。
他現在應該想的，是怎樣才能帶領因內鬥而受重創的衡山派走出困境。在這幾個月裡，衡山派一下子就失去了兩輩人。常無軒和龍陽真人仙逝，彭科彪等人又因內鬥傷得傷.死得死.還走了不少。如果此時遭遇外敵，衡山派只有束手待斃，任人宰割。
龍陽真人雖然極力爲衡山派掃除外敵，無奈真正讓衡山派衰敗的卻是內亂。
聶衝遠看了一下賀方等人，說道：“你們不用拜我爲師，彭科彪依然還是你們的師父。只是以後由我教授你們功夫便是，你們還是仍然叫我師叔吧！”
自此，衡山派便真地成爲了聶衝遠的衡山，一個由他帶着一羣小輩的衡山。衡山派自然也失去了龍陽真人在時那樣號召武林的聲勢。
聶衝遠每天仍然教這些弟子練功，不僅教他一人的弟子，還有彭科彪.雷進平.江慶等人的弟子，他們現在成了聶衝遠唯一的希望。
這些弟子練功也都很刻苦，只是這些弟子之中，卻有一個另類，那便是袁文。自從他發過那個誓之後，便真地沒有再練過衡山派一招一式。他每天的任務便爲師兄弟們做飯，然後晚上躲到地牢裡面，去練倚勢劍魂和龍吟劍法等那些屬於他的武功。
只是他的琵琶骨被常無軒鎖住，因此他無論怎麼練，也看不到一絲進益，依然像一個沒有練過武的人。其他弟子見他什麼都不會，因此根本不理會於他，都將他看作傻子一般。只有顧紅顏例外。
顧紅顏一有空，便會跑到廚房去給袁文幫忙，她本是個農家孩子，對廚房鎖事再熟不過。兩人這樣一邊說笑，一邊做事，反倒引來無數弟子的嫉妒。