在羊祜34歲那年，也就是公元255年2月5日，司馬炎的老爸司馬昭正式接手司馬師留下的霸業，成爲曹魏帝國的大將軍、實際掌權人。在司馬昭上臺以後，他立刻派人去找羊祜，想讓他到自己的大將軍府做事，但是直到這個時候羊祜還沒有答應，還是不想直接和司馬昭扯上關係。直到司馬昭用曹魏皇帝的名義召他做曹魏帝國的正式官員，羊祜纔開始步入政壇。
由於本身就和司馬家族沾着親，同時和曹魏帝國皇室也保持着面子上的溫情，所以司馬家和曹家兩方都看好的羊祜，仕途自然是一路綠燈，他先擔任了中書侍郎（皇帝辦公室委員委員），後來又調到皇帝曹髦身邊當了給事中（皇帝中級顧問）、黃門郎（皇帝秘書侍從）。曹髦被殺以後，曹奐繼續當傀儡皇帝，羊祜認爲給這個比囚犯還不如的皇帝做事，根本不會有出息，就想辦法轉任了中央圖書館館長（秘書監），也就是在這個時候，已經步入中年的羊祜義無反顧的離開了曹魏皇室，成爲了司馬家族的干將。
在司馬昭時代，同樣是大士族出身的鐘會正在得寵，可以說是司馬昭的第一高參，很多人爲了爭取一個好的前途，都爭着搶着和他結交，可是羊祜卻對鍾會敬而遠之。要說羊祜的眼光，確實不是吹的，他好像料定了鍾會這種人不會長久似的。後來，鍾會果真就因爲叛亂被殺，司馬昭從此改變重用士族的做法，提拔了一大批親戚和出身並不太顯赫的親信進入中樞，而羊祜作爲司馬家族的親戚，自然得到特別重用，在司馬昭身邊擔任了從事中郎（秘書長），和另一個親信荀勖一起負責中樞機要。不久，羊祜再被任命爲中領軍（中央禁衛軍司令），統領宮城、皇城及首都內外的所有禁衛軍，負責監視曹魏皇帝，保衛司馬昭的安全。司馬昭建立五等爵位以後，羊祜被封爲巨平子爵。
司馬炎登基後，對所有忠於自己的下屬們，都給予了升遷，勞苦功高的羊祜也在本職位上升任中軍將軍，同時加授皇帝騎馬侍從官（散騎常侍），封爲巨平公爵，享受三千戶人家的賦稅。羊祜這個時候，纔剛剛44歲，當時司馬家族的第一重臣賈充，也纔是公爵而已，可見司馬炎對羊祜的器重。羊祜怕引起賈充這些人的妒嫉，堅決不接受公爵，司馬炎也明白了羊祜的一番苦心，同意了他的要求，只讓他升爲巨平侯爵，但是封他的妻子做了誥命夫人。
司馬炎爲爸爸守喪的時候，堅持要按照幾百年前最古老的儒家傳統要求，穿三年孝服、吃三年素食。羊祜知道以後，勸司馬炎乾脆恢復全部老傳統，讓所有老百姓跟着司馬炎一起穿三年孝服、吃三年素食。當時就有人反駁他，說這樣幹過於勞民傷財，況且那種過於理想的守喪制度，過於死板，根本行不通，於是羊祜纔不再提出讓天下恢復古制的話。從這件事上，人們更加了解到羊祜對於儒家倫理道德是多麼執着，很多人雖然不認同他過於虔誠的做法，但對他的精神都心存敬佩。
不久，司馬炎就特別頒佈了一道詔書，把羊祜晉升爲衛將軍，同時兼任左僕射（國務院副總理），還賜給他一個警衛衛隊。當時，和羊祜歲數不相上下的核心重臣，還有賈充、裴秀，論資歷、勢力和能力，羊祜比他們哪一個都不差，但是羊祜卻非常小心謹慎，從來不讓自己的官位和爵位比他們高。
公元269年，司馬炎對未來的滅吳工作做出重大部署，羊祜離開洛陽，都督荊州軍事（湖北軍區司令），被授予皇帝三級符節——假節，駐紮在襄陽，以前的官職照舊兼任。
羊祜到任以後，對轄區事務做出一系列重大改革。他到了荊州，最先辦的一件事兒就是開設學校，當然，這種學校肯定主要教的是儒家經典，同時積極的安撫百姓，很快，整個荊州的社會風氣煥然一新，人們謙和禮讓，社會矛盾也日漸減少。
鎮守一方，最重要的當然是治理，而治理工作當中最重要的，當然是治理手下的官員。當時荊州官場流行一種風氣，官員如果死在任上，下一任官員爲了躲避晦氣，都要把辦公大樓重新裝修一遍，有的甚至就乾脆拆掉重蓋。當時的荊州，不算州一級的長官，光郡太守就有七個，至於縣令就更多了，有六十多個，這麼多的人，只要有一個死在任上，就要重新搞一棟樓，既造成了巨大的浪費，也讓老百姓滿口怨言，羊祜到任以後，嚴令杜絕了這種現象。這樣，光每年官府的裝修費、建築費，就能省出一大筆錢。
羊祜深知，打仗就是打糧和打錢，他剛剛到任的時候，軍隊的存糧還不夠一百天，而且東吳經常來騷擾，既缺糧又不能專心種糧，荊州省會襄陽以南的地區，糧食幾乎絕收。爲了搞到充足的後勤保障，爲今後大規模的戰鬥做準備，羊祜讓一些士兵離開駐防任務，專門從事農田的種植工作，一下子就開墾了八百多頃農田，等十年之後他離任的時候，荊州已經擁有了十年的存糧，這些糧食，爲後來平定東吳做出了巨大貢獻。
羊祜對自己的士兵，也是非常信任和愛護，他在軍營裡，經常穿着便服，很少披掛鎧甲，周圍的侍衛也不過十幾人，即使這樣，也從來沒有發生對於羊祜的刺殺事件。要說人非聖賢，羊祜難免也有些愛好，比如說打獵釣魚、遊山玩水，也常常因此荒廢公務。有一天晚上，他臨時興起就想出營，結果被司馬（軍事總監）徐胤拿着武器攔在大營門外。徐胤嚴肅的對羊祜說：“將軍你重任在肩，怎麼這麼不小心！您的安全，關係着國家的安危！今天除非我死，否則您別想出這個門！”羊祜一樣子意識到自己隨心所欲的嚴重性，馬上嚴肅起來向徐胤道歉，從此就很少外出了。
荊州在羊祜的治理下煥然一新，所有這一切，自然會有很多人通過各種渠道彙報給司馬炎。司馬炎看到羊祜的政績當然非常高興，在公元272年，羊祜再被晉升到車騎將軍，開府儀同三司，成爲了一品大員。然而就在當年，一場西陵之戰，讓西晉王朝包括羊祜所做的種種努力，全部成爲泡影。被降了職的羊祜意識到，東吳帝國還不可能馬上就被消滅，因爲它的頂樑柱還沒有塌，它的守護神還沒有死。以陸抗爲代表的東吳士族，對孫皓還是非常忠心耿耿的，它還沒有到最後崩盤的地步。
第一次和陸抗交鋒，就使羊祜深深體會了這個對手的可怕。既然靠槍桿子打不過陸抗，羊祜就換了一種策略：以德服人，溫火燉熊掌，讓東吳軍民自己反水。