羊祜字叔子，泰山南城人。祖辈世世代代做二千石一级的官，到羊祜已经九代，都以清廉而有德操著称于世。祖父羊续，在汉代做南陽太守，父亲羊磜，任上党太守。羊祜是汉末蔡邕的外孙，与景献皇后是同母姊弟。
羊祜十二岁时父亲去世，守孝超过一般礼制，后来侍奉叔父羊耽也很恭谨。羊祜少年时期曾在汶水河畔游玩，遇到一个老人对他说：“你这孩子相貌不凡，不到六十岁，必然为天下建立大功。”说完即离去，不知去向。羊祜长大以后学识渊博，擅长文章，身长七尺三寸，容貌端庄秀美，善于言谈。同郡将领夏侯威认为他是个奇才异人，将哥哥夏侯霸的女儿嫁给他。羊祜曾被推荐为上计吏，州官四次征召他做从事、秀才，朝中五府都征召他做官，但他都拒绝就职。太原的郭奕见到他曾说：“这真是当代的颜回啊！”他和王沈都曾被曹爽征召过，王沈劝他应召，他说：“豁出身家性命去侍奉别人，不是容易的事啊！”后来曹爽被杀，王沈因某些原因得免于祸，因而对羊祜说：“我常常记住你以前说的话啊！”羊祜说：“我当时也没有想到曹爽有这种下场。”羊祜就是这样有先见之明而又不夸耀自己。
夏侯霸降蜀以后，亲戚朋友都和他断绝来往，羊祜独自安抚他的家属，关怀爱护，以礼相待，有过于往日。不久，母亲与长兄羊发相继去世，羊祜敛颜忧思，息交绝游十余年，以不涉官场的隐者自居，像一个虔诚的儒生。
晋文帝司马昭做大将军时，召羊祜做官，未就职。后来朝廷用公车征召为中书侍郎，不久又升迁为给事中、黄门郎。当时魏帝高贵乡公曹髦爱好文章，在位的官宦多献诗赋逢迎上意，汝南的和荄因不迎合上意而被斥逐，羊祜处在这些人中间，保持不亲不疏的关系，有识之士都赞赏这种态度。陈留王曹奂即位，封羊祜为关中侯，食邑一百户。因为魏帝年少，羊祜不愿在朝中做侍臣，要求调出宫廷任其他职务，结果改任为秘书监。魏实行五等爵位以后，羊祜被封为钜平子，食邑六百户。钟会受到魏主宠信而好忌妒贤能，羊祜也怕他。钟会因罪被杀后，羊祜拜为相国从事中郎，和荀勖一起，掌管国家机密大事。后迁为中领军，宫中卫队都属他统领，处理宫中事务，掌握军事大权，统管内外大事。
晋武帝司马炎受魏主禅让即位，羊祜因为有辅晋建大业的功勋，领中军将军头衔，加散骑常侍职位，改封郡公，食邑三千户。羊祜坚决辞让郡公封号，仍保持侯爵，官府中置郎中令，设九官的职位，羊祜夫人加封印绶。泰始初(265～275)，皇帝下诏说：“统领国家机关，协调礼、教、刑、政等各部门的工作，是朝政的根本要务。羊祜德操清美，忠贞而坦诚，纯正而才高，是文武兼备的人才，为人又很正直，虽在宫廷任要职而不掌管国家机要，这不符合圣君必委任贤人垂拱无为而治天下的要义，现任羊祜作尚书右仆射、卫将军，配置本营军队。”当时王佑、贾充、裴秀都是前朝名臣，羊祜在他们面前每每谦让，职位不愿高于他们。
武帝有灭吴的打算，使羊祜为都督荆州诸军事、持节，仍保留散骑常侍、卫将军的职衔。羊祜率军镇守荆州，开办学校，安抚教化远近人民，深得江汉百姓爱戴。与吴人开诚布公，互相信任，投降的人愿意离去，都听凭志愿。当时荆州有这样的风俗：地方长官丢官后，继任此官的人生忌讳，多把旧官府的房舍毁掉。羊祜认为死生有命，与房舍无关，就下令所辖地区禁止这种做法。东吴石头城守军距襄陽地界七百里，常騷扰晋边境，羊祜以为是一大患，便设计谋让吴撤去守军，于是晋戍边巡逻的士兵减少了一半，所减士兵用来垦荒，垦田八百余顷，大获其利。羊祜初到荆州时，军中无百日粮，到了他镇荆州的后期，有供十年用的粮草积蓄。皇帝下令撤除江北都督，设置南中郎将，将原江北都督所属在汉东江夏一带的军队都增拨给羊祜。羊祜在军中经常穿轻裘，束绶带，不披甲，府第卫士不过十几人。然而也常因出外打猎钓鱼而荒废政事。一次欲夜间出游，军司徐胤手持长戟挡住营门说：“将军都督万里疆域，哪能这样轻心放纵，将军的安危也就是国家的安危。除非我死了，今夜此门才得开。”羊祜脸色一变，向徐胤道歉，此后很少出游了。
后来又加封车骑将军，开设官署，规模比于三公。羊祜上表坚意辞让。说：“我恭敬地看到加恩的诏书下来，提拔臣与三公同等，臣自出仕以来才十几年，接受内外重任，职位显赫而重要，臣常常因为自己的才智不能上进，不可久居过当的恩宠而日夜战忄栗不安，荣耀变成了忧愁。我听说过古人的话：品德还没有为众人心服而受高爵，就会使有才之臣不能奋进；功业没有使众人归附而享受厚禄，就不会使愿为国家出力的臣民受到鼓励。现在我身为皇家亲戚，做事的成败关系到国家时局，应警惕过多的恩宠，并不忧虑被朝廷遗忘。而宫中之诏枉发，给予我超常的荣誉，臣有何功可以担当呢？于心怎安呢？身居不称的高位，不久将会跌落下来，到那时想守住先人的陋室，也不可能了。违抗诏命，是触犯天子威严；曲心从命，又是如此犯难。古人有知过必举的见知法，大臣之节，能进则进，不可进则止。臣虽属小人之辈，也想缘用前人所诫，不忘此义。现在天下归服于晋已经八年，天子虽坐于侧席以延揽贤才，乡鄙贱人无所遗漏，然而我不能推举有德之人，引荐有功之士，使陛下知道胜过臣的人还多，没有进入仕途的贤人还不少。假若还有像傅说那样的贤人被遗忘在筑墙者的行列，有像吕尚那样的才士被遗忘在屠市垂钓的场所，而朝中议事者不以枉用臣为非，臣居高位而又无愧，这样不是损失太大了吗？臣窃居官位虽然很久，从未像今天这样兼任文武要职受朝廷信任，居等同宰相的高位。况且，臣所见虽然狭小，光禄大夫李熹有高风亮节，行为公允正直；光禄大夫鲁芝，洁身寡欲，与人和谐而不苟同；光禄大夫李胤，清廉简朴而坦诚，身在朝廷，效力国家，守君臣之礼至老不渝。他们虽历任内外要职，而清廉简朴如贫寒人家，但都没有荣获我这样的宠位，臣超过他们，怎能满足天下人的期望，稍增日月之光呢？因此，我决心守此臣节，不愿苟得高位。当今天下统一的道路尚未畅通，边陲战事时有发生，乞求保持原来的职务，使臣能迅速回到荆州屯垦戍边，不然的话，在京城留连日久，必然于对付敌国方面考虑不周。匹夫之志，有时也不可强夺。”武帝没有接受羊祜的请求。
回到荆州以后，东吴西陵都督步阐献城降晋，吴将陆抗攻打步阐十分紧急，皇帝下诏援救步阐。羊祜率领五万军队从江陵出发，派遣荆州刺史杨肇作前锋抗击陆抗，结果没有取胜，步阐终被陆抗俘虏。有司向皇帝上奏说：“羊祜率军八万多，吴军不过三万，羊祜在江陵按兵不前，使贼兵备好攻守战具。并只派杨肇这支偏师深入险地，兵少而粮草不继，致使我军失利。羊祜违背诏命，没有大将节操，应免去官职，保留侯爵回府第闲居。”于是皇帝以败军罪贬羊祜为平南将军，杨肇被免为庶人。
羊祜鉴于春秋时鲁国的孟献子在武牢筑城而郑国惧怕，齐国的晏弱在东陽筑城而莱子畏服，就占据险要地势，新筑五座城池，控制了大片肥沃的土地，从吴人手里取得大量财富，吴国石头城以西，都成了晋的土地。此后吴人来归降的络绎不绝，羊祜更修德讲信，安抚初降的吴人，有吞并东吴的慷慨大志。每次和吴人交战，总先约定日期，不搞突然袭击。将帅们如有献狡诈计谋者，羊祜让他们饮醇酒，使之醉而不能言计。军中有人俘虏了两个吴国小儿，羊祜便把他们遣送回家。后来吴将夏详、邵岂页来投降，这两个小儿的父亲率领他们的部属一起来降。吴将陈尚、潘景侵犯边境，被羊祜追击杀死，羊祜很赞赏二人能为国尽忠而厚礼入殡，陈、潘的子弟来迎丧时，羊祜以礼相待，送他们回国。吴将邓香到夏口抢掠，羊祜派人将他生擒，然后加以宽慰放回。邓香感激羊祜恩德，便率领自己的军队降晋。羊祜有时行军到吴国境内，在田里割谷作军粮，每次都算出谷的价值，送一些绢给田主作赔偿。每次聚集众人在江汉一带边境游猎，总不进入吴境。打猎时如有吴人射伤的禽兽逃到晋境又为晋人捕获的，都原样送还给吴人。于是吴人心悦诚服，向往于羊祜，称羊公，不呼其名。
羊祜与陆抗两军对垒，使者来往不断，陆抗称赞羊祜德高望重，虽是乐毅和诸葛亮也不能超过。陆抗曾经害病，羊祜送了一副药给他，陆抗毫无疑心就吃了。很多人劝陆抗不要服这药，陆抗说：“羊祜怎会用毒药害人呢？”当时人以为是春秋时敌国互信的华元、子反重见于世。陆抗每每告诫戍守的将士说：“羊祜专以德感人，如果我们只用暴力侵夺，那就会不战而被征服的。我们只保住边界算了，不要为小利而争夺侵扰。”吴主孙皓听说两国边境和好，便责问陆抗，陆抗回答说：“一乡一镇之间，不能不讲信义，何况一个大国呢？如我不讲信义，正是宣扬了羊祜的德威，对他毫无损伤。”
羊祜为人坦诚无私，憎恶邪恶，荀勖、冯..这伙人都忌恨他。羊祜的远房外甥王衍曾到羊祜那里述事，言辞华美而善辩，羊祜却不同意他的看法，王衍很生气，搂起衣襟就走了。羊祜回头对宾客们说：“王衍目前名声很大，地位很高，然而败坏一代风尚的一定是此人。”营救步阐那次战役，羊祜按军法将要斩王衍的从弟王戎，所以王戎、王衍都憎恨羊祜，和人谈论时，每每毁谤羊祜。当时流行一句谚语：“二王当国，羊公无德”。
咸宁(275～280)初年，拜羊祜为征南大将军、开府仪同三司，可以直接推荐选拔人才。此前，羊祜以为伐吴必借长江上游有利地势，加上又听到一首吴地童谣：“阿童复阿童，衔刀浮渡江，不畏岸上兽，但畏水中龙。”便说：“这一定是说伐吴必是水军成功，只是要考虑哪个人应童谣中的名字。”当时正逢益州刺史王浚被征召进京做大司农，羊祜知道王浚能当灭吴的大任，王浚小名又叫阿童，因而上表留王浚在益州统领军事，加封龙骧将军，下密令让王浚修造船只，准备顺流灭吴。
羊祜修缮盔甲兵器，训练士卒，从各方面做好了灭吴的准备，然后向皇帝上疏说：“先帝顺应天意人心，西平巴蜀，南和孙吴，海内百姓得以休养生息，人心安乐。而吴背信弃约，使边境又生战事，国家气数虽是天定，而功业必靠人为，不灭东吴，则士卒百姓无安宁之日。完成统一大业，也是光大先帝功勋，实现无为而治的举措。尧伐丹水，舜征三苗，都是以使宇内安宁，停止兵乱，民众和睦为目的的。当年平蜀之时，天下人都以为应当一并灭吴，而蜀灭至今已十三年，这算一个周期，灭吴的日子应在今天了。而议论此事者常说吴楚在盛世最后被征服，在乱世最先强盛，这是诸侯纷争的时候，当今天下一统，不得与古时并论。有些说法只适用于大道理而不知权变，所以出谋略的人很多，而可以作为决策的就少了。凡是凭险阻而得生存的国家，是指它的实力与敌国相差不多，有力量固守。如地位轻重不同，强弱相差很大，那智士的计谋也不能救它。险阻的地势也不能保它。蜀国地势不是不险要，高山上接云霓，深谷不见日月，关隘险道，束马悬车方能通过，有一夫操戈，千人莫挡之势。然而灭蜀进军时，蜀国好像连一道篱笆都没有，我军斩将夺旗，斩杀敌军数万，乘胜席卷蜀地，直捣成都城下，汉中一带的蜀兵，像鸟栖于巢一样不敢出动。这也并非蜀人不愿战，实在是力量不足与我军抗衡。到刘禅投降时，蜀地各营垒官兵便悄然四散。目前江淮的难渡不会超过剑阁，山川的险要不会超过岷山汉水，孙皓的暴虐超过刘禅，吴人的贫困甚于巴蜀，而大晋的军队多于前世，军饷兵械多于往日。不趁此机会平吴，而屯兵据险相守，使士兵役夫日夜辛苦于战争徭役，旷日持久。这种状况不能维持长久，应当及时定夺，统一四海。如果率领梁、益两州军队水陆并进而东下，荆楚军队进逼江陵，平南、豫州军队进攻夏口，徐、扬、青、兖等州军队进军秣陵，击鼓摇旗作为疑军，多方齐进，使敌军虚实难辨，以东南一角的吴国，抵挡天下大军必然兵力分散，人心慌乱，各种军需紧急难备。这时巴、汉军队顺流而下，直捣空虚腹地，一处陷落则全境震动。吴国国土沿江，没有前线后方之分，东西数千里，处处设防，战场便大，不能安息养精。孙皓肆意妄为，与下属互相猜忌，名臣重将失去信心，所以像孙秀这类人都害怕威胁而来投降。将帅疑于朝廷，士卒困顿于战场，没有保国安民之计，人心散乱，平时即有叛离之意，一旦兵临城下，必然有人响应而来降，他们最后不会齐心拼死尽忠是可以预见的。吴人做事急速而不能持久，弓弩戟盾等又不如中原，只有水战于他们有利，但我军一入吴境，长江就不是吴军专有，吴军回头保守城池，则是去其长而有其短。晋军深入敌国，远离后方，必有死战的决心；吴人在本土作战，会有败则退而守城的念头。这样看来，平吴之战是很快可以取胜的。”武帝深以为然而接纳了羊祜的意见。
此时，正遇晋在秦、凉等地作战屡次失败。羊祜又向皇帝上表说：“东吴平定，则胡人自然安定，当前只应迅速完成灭吴的大业啊！”而朝中议论此事时，多有不同于羊祜的意见，羊祜叹道：“天下不如意的事总是十有七八，目前有些人当断不断，当予不取，怎能不让以后的有识之士引为遗憾呢？”
此后，皇帝下诏将泰山郡的南武陽及牟、南城、梁父、平陽五县设为南城郡，封羊祜为南城侯，属下设相国，与郡公地位同等。羊祜辞让说：“昔日张良辞让三万户的封地，只接受留这个地方的一万户，汉高祖满足了他的愿望。臣在先帝时接受了钜平这块封地，岂能再接受更重的封爵而遭来官场的非议。”坚意不接受这次加封，武帝也就答应了。羊祜每次被皇帝提拔封赏，常持恬淡退让态度，至诚之心世人皆知，他的德操志趣，往往不在官职的行列等次上。所以英名美德传播远近，朝野上下有目共睹，朝中大臣议论，羊祜应居宰相之位。但武帝正在考虑灭吴之计，将东南军政要务托付给羊祜，也就把大臣的意见搁置一边了。羊祜任职历魏晋二朝，掌握国家机要，重大举措，都要向他咨询，而争权求利的事却与他无关。他所献的好计谋和正直的议论，事后都把稿子烧掉，所以世人很少知道。凡是他所荐拔的人，都不知荐拔人是谁。有人认为羊祜这样谨慎守密太过分了，羊祜解释说：“话怎能这样说呢，现在一般人在你跟前促膝谈心，像是很亲近，一出门就说假话坏话，所谓君臣之间不守密的训诫，我怕自己还没做到呢？身居要位而不荐拔贤才奇人，岂不在知人问题上有愧吗？况且，被荐举的人在朝廷受职，而却到荐拔者私门谢恩，这是我不愿意做的。”
羊祜的女婿劝羊祜说：“购置些田产家业，也好卸官后有所归宿，后事有所依托，这样不是很好吗？”羊祜当时没有答话，事后告诉子女们说：“这种说法是知其一不知其二。作为人臣，经营私业就违背公事，这是很糊涂的做法，你们应记住我这些话。”羊祜曾经给从弟羊..写信道：“东吴平定之后，我当戴上隐士的角巾，东回故里，经营一个能容棺材的坟墓。一个贫寒之士而至身居重位，怎能不因势盛气满而受指责呢？汉朝弃官归农的疏广就是我的榜样。”
羊祜喜游山水，风景美好的日子，一定到襄陽城南的岘山游乐，饮酒赋诗，终日不倦。有次，羊祜慨然叹息，对从事中郎邹湛等人说：“自从有了宇宙便有此山，自古以来的贤达高士，像我和你们一样，登上此山眺望游乐的不知有多少，但都淹没无闻了，想来令人悲伤。如死后有知，我的魂魄仍会登此山的。”邹湛说：“您老德冠四海，道接前哲，美好的业绩和名望一定和岘山一样永存于世，至于我等之人，才像您说的会淹没无闻啊！”
羊祜讨伐吴贼有功，应当增封爵位与封地，于是请求皇帝将自己应增的爵位封地赐给舅父的儿子蔡袭，于是皇帝下诏封蔡袭为关内侯，食邑三百户。
吴人侵犯弋陽、江夏，抢掠人口，武帝派遣侍臣携带书信责问羊祜为什么不追讨吴贼，并打算将州府所在地移向边境。羊祜对侍臣们说：“江夏离襄陽八百里，等知道吴贼侵犯的消息，贼已离去几天了，再派兵去，哪能救护百姓呢？让军队来回奔波，只图不受责备，这样做恐怕不合适。从前魏武帝设置都督，大致都与州府接近，因为军队宜聚合而忌分散。国境线上一方是敌，一方是我，认真守住边界就算了，这是古代人有益的教诲。如频繁迁徙州府所在地，敌人出没无常，很难确定州府应设在哪里。”使者也无法责问羊祜了。
羊祜重病卧床，请求回京城，到洛陽时正遇上姐姐景献皇后去世入殡，悲哀至极。宫中发出诏令，让羊祜带病进见，并使坐辇车入殿，不必下拜，受到皇帝特殊的礼遇。和皇帝陪坐时，当面陈述伐吴的计划。武帝认为羊祜病重，不宜常进宫朝见，派中书令张华向羊祜询问伐吴筹策。羊祜对张华说：“当今主上有受禅让的美名，但功德尚未著称于世，吴人暴政已到极点，此时伐吴可不战而胜。统一天下而兴办文教，则晋主可比尧舜，而臣下犹如稷契，这是百代难逢的盛事。如果放过这个机会，孙皓或不幸死去，吴人另立英明君主，虽有百万大军，长江是难以越过的，这不是留下后患吗？”张华很赞赏羊祜的主张。羊祜又对张华说：“能实现我这个愿望的是你啊！”武帝打算让羊祜卧病统领征吴诸将，羊祜说：“取吴不必我亲自参加，但平吴之后还要圣上操心去治理啊！必于功名的事，臣不敢自居。若我的一生即将完结，应当将未成事业托付他人，希望能审慎选出这个人。”
羊祜的病渐渐加重，就举荐杜预代替自己。不久即去世，享年五十八岁。武帝著孝服吊丧，哭泣甚哀。当时气候寒冷，武帝泪水沾满鬓须，化为冰珠。荆襄人正值集市日，听到羊祜去世的消息，市人无不痛哭，为之罢市以示哀悼，大街小巷哭声相接。东吴守边将士也为之哀泣。羊祜的仁德就是这样感动了几乎所有的人。安葬时皇帝赐给棺椁一副、朝衣一套、钱三十万、布百匹。并下诏说：“征南大将军、南城侯羊祜，德行冲淡而朴素，心境纯洁而高远，始在宫内任职，值朕登位，视其为人至诚，命其决策王事，入朝总管国家机要，出外镇守一方山河，本当长久显赫，永辅朕位，而突然病逝，念之使人伤怀。现决定追赠为侍中、太傅，持节官衔如故。”
羊祜为人清廉节俭，服饰简易朴实，所得俸禄都用来接济亲族，赏赐军士，家中无余财，临终遗嘱，不能将南城侯印置入棺材。从弟羊..等向皇帝陈述羊祜平时的志愿，要求葬在先人墓旁，皇帝不许，将离城十里外的一顷地赐给羊祜作墓地，加谥号叫“成”。羊祜的棺椁及送葬队伍上路，武帝在大司马门南边奠祭送行。羊祜的外甥齐王司马攸，上表说明羊祜之妻愿以侯礼安葬羊祜的意见，武帝下诏说：“羊祜生前多次辞让官爵，此意不可勉强。身虽死而谦让之德存，更能激励后人，伯夷、叔齐因辞让而称贤，季札因辞让而全节，正是这个原因。现尊重本人意愿，恢复原来封爵，以表彰其高风美德。”
当初，文帝死，羊祜对傅玄说：“为父母服丧三年的制度，虽是贵人也要穿孝服，这是自天子至于平民的达丧，然而被汉文帝废除了。这是毁礼伤义，我常为此叹息。当今主上天生至孝，有曾参、闵子骞的孝行，虽不让他穿孝服，他还是守丧礼。既然守丧礼，除去孝服又有何意义？如果趁此机会革除汉魏的薄丧制度，恢复古制，以使民风淳厚，垂美名于百代，不是很好吗？”傅玄说：“汉文帝鉴于当世人心浅薄，不能为国君行三年之丧，因而废除这个制度，至今已经数百年，一旦恢复古制，难于推行。”羊祜说：“不能使天下人都为天子服丧，姑且让主上服丧，不也很好吗？”傅玄说：“主上不废除三年丧制而天下人废除，这是只有父子之礼而无君臣之礼，三纲之道就不完整了。”羊祜就不再坚持自己的意见了。
羊祜所写的文章及所著《老子传》都流行于世。襄陽百姓在岘山羊祜生前游息的地方建庙立碑，每年按时祭奠。看到此碑的人无不流泪，杜预因而把此碑叫“堕泪碑”，荆州人回避羊祜的名字，房屋的门户只称门，把户曹改为辞曹。
按羊祜的官职，可以开设官署，直接选拔任用官吏，但他谦让而不这样做。临终前想选拔一批人才，但没有来得及设官署就死了。羊祜的参佐刘侩、赵寅、刘弥、孙勃等向杜预写信说：“我们这些人或许由于昔日选拔的谬误，惭愧地充当一个官员，得在征南大将军手下参与处理日常事务。羊祜为人冲淡而虚静，清廉而高远，品德崇高而平易近人，爵位优厚而态度谦恭，生前受诏镇抚南方，位同三公，加大将军称号，虽居此位而未行命官设署制度，至今海内渴慕其德，俊杰仰望其风。进入羊祜门庭的人，贪夫可以变廉，懦夫可以立志，虽是伯夷柳下惠的德操，也不会超过他。自从镇守荆襄，德政教化，使江汉人民广受恩泽；深谋远计，使国家疆土巩固开拓。他所规划勾勒的千秋大业都准确有据，他一心为公，为国事操劳致死，首次荐拔四名属官，未到任而羊祜去世。举贤能以报国，是将军的长远任务；寻求居于微贱的人才而张扬提拔，也是将军的宿愿；半途而废，也是将军个人的遗憾；一生谦恭，晚年没有实现选拔人才的愿望，这是远近亲疏都感到痛心的事。西周召伯所憩息过的甘棠树，当地人爱之而不忍伐，春秋宣子所游的地方，人们植树以纪念，惦记其人，尚爱其树，何况羊祜生前所荐的人才，可以随便抛弃吗？请求您把这几个人的名单列上，能按照现任官属安排任用他们。”杜预按此意向皇帝上表陈述说：“羊祜虽属能开设官署的大臣，但他不设僚属，十分谦逊，到病重时选拔的贤士，未到任而羊祜死，他家中没有后嗣，官府中没有他任命的官吏，人们希望于羊祜的，在这方面令人深忧。对于死者以礼安葬而又尊重其平生之志，民德民风就会淳厚。汉高祖不惜用四千户的封赏，以安慰赵人子弟的心，请朝臣商量这件事。”武帝没有答应杜预的请求。
羊祜死后两年东吴平定，群臣给武帝上寿祝贺，武帝端起酒杯流着泪说：“这是羊太傅的功劳啊！”因而将平吴事迹写成策书到羊祜庙里宣告以慰其灵，仍按照汉朝萧何的例子封羊祜的夫人。策封之书说：“皇帝使谒者杜宏奠告已故侍中、太傅、钜平成侯羊祜：昔日吴人骄横不恭，恃险阻而称帝，边境不能统一，已经多年。羊祜接受镇守南方重任，思平吴乱，在外宣扬天子德威，入内筹划国家方略，推布诚心，功德卓著，江汉人民归心，行事胸有成竹，计谋万无一失。然而老天不佑善人，使公大志不酬，朕因遗恨于心，颁发出师之令，顺天应人，讨攻逆贼，出兵数月，一战而吴贼歼灭，当年你灭吴的计划一一实现，分毫不差。封赏不忘有功之人，国家有常规常法，本应增加公的封地，以守信于国人，然而这又违背了公平日谦让美德。现封公的夫人夏侯氏为万岁乡君，食邑五千户，赐帛万匹，谷万斛。”
当羊祜五岁时，曾叫乳母取金环给自己玩，乳母说：“我家本无此物。”羊祜即领乳母到邻人李氏东墙下一棵桑树洞中找到了一个金环，李氏知道后大惊说：“这是多年前我死去的儿子丢失的，都说是被人偷去了。”乳母把寻找金环的过程述说一遍，李氏非常悲哀。当时人都觉得奇异，认为羊祜是李氏之子转世。又有一个善相墓穴风水的人，说羊祜的祖坟有出帝王的气象，若把墓凿开，就会绝后，羊祜就把墓凿开了。相墓人见到凿后的墓说：“犹出折臂三公。”后来羊祜因落马折了臂，位至三公，却没有儿子。
武帝使羊祜哥哥的儿子羊暨为羊祜过继，羊暨以父亲已死为理由拒绝了。武帝又令羊暨弟弟羊伊为羊祜后嗣，羊伊又不服从。武帝大怒，将二人关押起来免了职。太康二年(281)封羊伊弟弟羊篇为钜平侯，作羊祜后嗣。羊篇为官清廉谨慎，有一头私人的牛在官舍里产了牛犊，羊篇升迁搬家时就把牛犊留在官舍。后升散骑常侍，死得早。
东晋孝武帝太元(376～396)年间，封羊祜之兄的玄孙之子羊法兴为钜平侯，食邑五千户，法兴因参与桓玄乱党株连被杀，封爵废除。尚书祠部郎荀伯子上表争辩说：“臣听说古贤臣咎繇后嗣被灭，鲁国臧文仲深为叹息；齐桓公夺了伯氏的爵邑赐给管仲，人们称管仲为仁。功高的人流芳百世，靠滥赏得势的人难保朝夕。已故太傅、钜平侯羊祜，明于道德而交往贤士，为国人所爱戴，立晋有辅助之勋，平吴有筹划之功，然而断绝后嗣，祭祀无人。萧何有开国首功，虽绝嗣而总有后继之人，我认为钜平应和萧何封地赞阝陽一样，世代相承以继前贤。已故太尉广陵公准，勾结叛逆司马伦，使淮南王司马允遭祸，此人因叛逆而得利，窃得大国之封。适值朝政赏罚失当，使中兴大业不能实现。当今王道革新，岂能不判明历史功罪，我认为广陵国应当削除。已故太保卫馞，本爵为..陽县公，遭受祸患被杀后，又增加封地，开始封在兰陵，以后又转封江夏，中朝时期的名臣，死后多没有享受应得的待遇，卫馞没有特殊功德，却受到特殊封赏，我以为应削去封郡，恢复..陽县公爵位，这样才是升降有据，善恶分明。”这个表被权臣压下，未能上报皇帝。
羊祜的前母是孔融的女儿，生羊发，羊发官至都督淮北护军。当初，羊发与羊祜的亲弟羊承同时得重病，羊祜的母亲估量不能同时救活两儿，就专心养护羊发，羊发得救而羊承病死。
羊发的儿子羊伦，为高陽王相，羊伦的弟弟羊暨，为平陽太守。羊暨的弟弟羊伊，初为车骑将军贾充的属官，后迁平南将军、都督江北诸军事，镇守宛，为张昌所杀，死后追赠镇南将军。羊祜的伯父羊礻必，官至京兆太守。羊礻必的儿子羊祉，为魏郡太守。羊礻必的孙子羊亮，字长玄，有才能多心计，与他交往的人，他都做出真诚相待的样子，别人都以为他是知心朋友，实际并非如此。羊亮初为太傅杨骏的参军，当时京城一带盗贼多，杨骏想用重刑惩治，规定盗一百钱就杀头，并将此事交属下官员议论。羊亮说：“从前楚国江乙的母亲丢失布匹，认为出现盗贼的根源是掌握大权的令尹。你若清廉不贪，自然就没有盗贼了，何必要用重刑呢？”杨骏很惭愧，取消了自己的打算。羊亮后来转任接待宾客的大鸿胪，当时惠帝在长安，羊亮与关东逆贼勾结，内心恐惧不安，投奔并州，被刘元海所杀。羊亮的弟弟羊陶，为徐州刺史。