羊祜在对吴国军民实行怀柔政策的同时，修缮盔甲，训练士兵，做了广泛的军事准备。他上书给晋武帝司马炎说，平定蜀地已经十三年了，现在吴国的孙皓暴虐无道，吴国的百姓困苦不堪，而我们晋军的力量比过去更加强大，应该抓住时机，平定东吴，统一天下，使天下安宁，人民和好。他对灭吴的战略战术也提出了许多精辟的意见。晋武帝非常赞同他的意见。后来羊祜卧病，回到洛阳，他又抱病向晋武帝当面陈述伐吴大计。此后，晋武帝还派中书令张华去询问他的筹划和策略。
羊祜病情越来越重，他便推举杜预接替自己。不久羊祜病逝，享年五十八岁。当时天气寒冷，晋武帝穿着丧服悲伤地哭泣，泪水流到鬓须上，都结了冰。荆州人在集市上听到羊祜病逝的消息，没有一个不号啕痛哭，集市贸易因而停止，哭声连成一片。吴国守边的将领知道他已经去世，也都伤心地为他哭泣。
羊祜死后二年，吴国被平定。大家都为皇帝庆贺。晋武帝拿着酒杯流着眼泪说：“这哪里是我的功劳，都是羊祜的功劳啊！”