让羊祜卧护诸将，带病指挥灭吴大军。羊祜推辞：
“灭吴不必臣亲自前往，平定之后，陛下当劳圣虑。功名之际，臣不敢居。若事了，当择人托付，愿陛下审慎选人！”
临终前，羊祜做出最后一个关键决策：举荐杜预接替自己。
杜预，后世称为“杜武库”，智谋无双，正是继承羊祜遗志、完成灭吴大业的最佳人选。
咸宁四年十一月（公元278年），羊祜病逝，享年五十八岁。
噩耗传来，西晋朝野震动。
晋武帝司马炎素服痛哭，天气严寒，涕泪沾湿须鬓，凝结成冰。
荆州百姓，罢市痛哭，街巷哭声相连；东吴守边将士，亦为之落泪。
襄阳百姓在羊祜平生游憩的岘山，建碑立庙，岁时祭祀。望其碑者，无不堕泪，杜预命名为堕泪碑。
羊祜遗令：不得以南城侯印入柩，坚守一生辞让之志。司马炎追赠侍中、太傅，谥曰成侯，赐葬地一顷，清俭如初。
羊祜去世两年后，咸宁五年（公元279年），西晋六路大军伐吴，完全按照羊祜生前制定的方略进军。
王濬水师顺流而下，杜预挥师江陵，各路并进，势如破竹。
太康元年（公元280年），吴主孙皓投降，三国鼎立终结，西晋一统天下。
庆功宴上，晋武帝司马炎手持酒杯，泪流满面，对着群臣长叹：
“此羊太傅之功也！”
随即下诏，以灭吴之功，告祭羊祜庙，封羊祜夫人夏侯氏为万岁乡君，食邑五千户，厚赏其家，一如萧何旧事。
羊祜立身清俭，家无余财，治家严谨，家风清正。
他无子，以兄子为嗣。其侄羊篇，继承清慎家风，在官舍养牛，产下牛犊，离任时留下牛犊，不取分毫，官至散骑常侍，清廉之名传遍天下。
泰山羊氏，在羊祜的影响下，代代显贵，清廉传家，成为魏晋南北朝最顶级的名门望族，数百年不衰。
房玄龄《晋书》评：道冠当时，德简来世；
孟浩然诗：羊公碑尚在，读罢泪沾襟；
历代兵家，将羊祜列入古今六十四名将、七十二名将，配享武庙。
参考《晋书》
??&128073; 当前浏览器转码失败：请退出“阅读模式”显示完整内容，返回“原网页”。