1975年1月5日，中央发出一号文件，任命为副主席兼总参谋长。面对“文革”造成的全国乱局，义无反顾地开始全面整顿，“军队要整顿”更是响彻全军，他从抓军队整顿开始，落实干部政策，“解放”干部。很快，他把目光转向了总后勤部（下文简称总后）：总后确实是“文革”中的重灾区，一伙在这里干了许多坏事。仅在总后机关，他们炮制出的所谓“反党集团”、“特务集团”、“特务叛国外逃集团”、“现行反革命集团”等大大小小的冤假错案就有35个，3500多人被立案审查，其中、逼死的，就有143人之多。总后副部长汤平和总后卫生部第一副部长傅连璋等被。和上述问题有牵连的一些人，后来又多和“”的活动有联系。显然，要整顿总后乱象，必须找一个和、“”坚决斗争、且有相当资历的人，前去总后拨乱反正。经过反复思考，选中了时任武汉军区副司令员的张震：红军时期，挥戈奋战在红三军团；抗日战场，出谋划策在彭雪枫部；解放战争，赞襄军机于三野大军；抗美援朝，决战决胜于对敌一线；南京办学，儒将之誉响遍全军；“文革”罹祸，楚囚之身漂泊江汉……

　　虽然身处逆境，张震始终与、两个反革命团伙泾渭分明，他正是心目中理想的人选！当然，张震由屈居武汉军区副司令员，上调到总后工作，他本身也被“解放”了！

　　“‘文革’以来，一伙对总后插手很深。……后来，等人又插手总后。”

　　1975年8月下旬，正在武汉军区组织演习的张震，突然接到通知，要他去北京一趟。到京后，粟裕代表军委和他谈话。当时，军委有个六人小组，由副主席牵头，负责调整干部和要地部署，粟裕是六人小组成员之一。解放战争中，粟裕负责三野战役指挥，张震负责参谋工作，两人相交、相知甚深。一见面，粟裕开门见山：军委考虑，要你到总后当副部长，有什么意见？

　　听到这个消息，张震确实吃惊不小：“我思想准备不足，从未专门做过后勤工作，担心做不好。”见张震有顾虑，粟裕便进一步点明：“这次工作调动，是小平点的将。”

　　谈话中，粟裕还着重讲了国内形势，说到周总理的病情和同“”斗争的情况，以及毛主席对“”的多次批评。张震遭到“文革”冲击，政治上已经“边缘化”，但依然很清醒：“我在军区工作，虽对全局了解不多，但对等人的言行还是很有感觉的。谈话间，我们的心情都很沉重，对时局的发展很担忧。”经过一番恳谈，张震决定接受任命：“既然军委和小平已经确定了，我服从组织决定，一定尽力把工作做好。”

　　9月18日，张震前往总后机关报到。当时，军委对总后领导班子作了较大的调整：部长仍由张宗逊担任，未配政治委员，副部长除张震之外，还有贺诚、张令彬（挂职治病）、张元培、李元、封永顺、张汝光、孙洪珍等，还增设了顾问，有饶正锡、张贤约、李耀、李雪三。了解基本情况后，张震马上信心百倍：“这个班子中，绝大多数是老红军，都有长期的斗争经历和丰富的工作经验。有的还是我的老上级，宗逊红军时期就当过我们师的师长。我相信，只要大家紧密地团结起来，在军委的领导下，是可以把后勤工作做好的。”

　　张震到职不久，副主席找他谈话，字字句句语重心长：“自‘文革’以来，一伙对总后插手很深。中央先后派、主持调查。后来，等人又插手总后。所以，总后机关的清查工作和全军后勤的建设，任务都相当重。”

　　此时此刻，张震更加感到、等对自己的信任与重托：“在八位副部长中，军委将我摆在了第一个，同时担任总后党委副书记，协助宗逊抓全盘工作，并且参加三总部联席会议，肩上的担子确实不轻。”

　　张震还是那个惯，到一个新单位，总会先做些调查研究。他到任伊始，就一边投入工作，一边抽时间听取各部门的汇报，同有关领导交换意见，查阅有关文件和历史资料。经过一段时间，张震对总后的情况有了初步的了解：新中国成立以来，总后的建设有了很大的发展，也有着很好的传统，工作艰苦，作风朴实，任劳任怨，钻研业务，服务部队，较好地完成了各项任务。同时，新中国成立20多年了，后勤建设也出现了许多不同于战争年代的新情况。比如，过去打仗，武器主要靠从敌人手中夺取，现在却要靠自己研制和生产，用军费去买。调研中，他也深深感觉到，自“文革”以来，总后建设受到了严重的破坏，造成了思想上、组织上和作风上的严重不纯，许多好的传统丢掉了，影响到后勤各项工作的顺利开展。20世纪70年代前期，每年全军的经费并不多，仅100多亿元，但由于买不到装备，装备费老是用不完。由于装备费用不完，王洪文就插手总后，把一部分钱拿到上海，购买当地生产的枪炮。对于这事，张震最为揪心：“因为不是兵工厂制造的，这些枪炮质量问题很多，根本不能用，买来就丢在仓库里，居然还说是什么‘路线枪’、‘路线炮’，简直是个笑话！”

　　对于“”与集团的勾结，张震也有深切的感受：“总后党委也曾作出决定，要调整16名追随反革命集团、犯有严重错误的干部的工作。刚刚行动，‘’就公开插手，为这些人翻案，使问题拖了下来。”