全会结束后的第三天，中顾委第二次全体会议随即在北京召开。中共中央总书记胡耀邦出席了这次全会并讲话。他在讲话中充分肯定了中顾委一年来的工作，提出中顾委应该在经济工作、整党工作、意识形态工作、干部工作四个方面发挥作用，要求中顾委在整党中大力担负宣讲、检查、督促、验收的任务。薄一波在会上就整党工作作了报告。中顾委先后选派39位委员参加中央整党指导委员会的工作。

在长达三年半的整党工作中，薄一波既担任中顾委常务副主任，又担负中指委的常务副主任，负责主持两个方面的日常工作。可见中顾委当时在国家政治生活中所起的重要作用。

特别要提到的是，为加快中央领导机构成员新老交替工作的步伐，中央决定1985年9月召开党的全国代表会议，对中央委员会、中央顾问委员会、中央纪律检查委员会的成员做一次比较大的调整，退出一批年龄较大的同志，增补一批德才兼备的中青年干部。为做好这次人事调整工作，中央政治局常委会于当年5月作出决定，由胡耀邦、薄一波、宋任穷、余秋里、乔石、王鹤寿同志组成工作小组，指导三个委员会的人事调整工作。接着，薄一波主持召开中顾委常委会议，研究中顾委的人事调整问题。他提出以下四种情况的同志退出顾问委员会：一、85岁(含)以上的同志；二、80岁(含)以上身体不大好的同志；三、身体多病、丧失工作能力、生活不能自理的同志；四、在人大、政协有职务的中顾委委员，只能在一头任职，职务不交叉。与会同志一致赞成薄一波的意见。

根据薄一波提出的四条杠杠，由薄一波牵头，萧克、伍修权、陈野苹、荣高棠参加的五人小组经过两个多月的反复研究，最后拟定了36位老同志退出中顾委的名单。薄一波要中顾委秘书长、副秘书长分头走访这36位委员，征求本人意见，了解他们还有什么困难和要求。这些受党教育多年的老革命家，都以党的利益为重，一致表示拥护和接受，并联名致信中央，请求不再担任中顾委委员职务，以实际行动响应党中央的号召。

中顾委还为更多的中青年干部进入领导层、促进领导干部队伍的年轻化和领导干部退休制度的全面建立并顺利执行，做了大量卓有成效的工作。据1985年9月13日新华社报道：从1984年5月开始的中央主要办事机构和国务院系统各主要部门的领导班子调整已基本落实，一批德才兼备、年富力强的干部走上了领导岗位。在中央和国务院新任命的127名正副部级干部中，新选拔的中青年干部近百名。国务院系统81个部门的领导班子的正职领导干部平均年龄为56.6岁，55岁以下干部的比例由百分之十增加到了百分之三十。在1985年9月18日至23日的党的全国代表会议上，有131位老同志主动退出，不再担任中央委员、中顾委委员、中纪委委员。面对这种可喜的局面，邓小平欣慰地笑了。他在中顾委会议上兴奋地说，几年来新老干部的交替，进行得比较顺利。特别是中央委员会的年轻化，前进了一大步。一批老同志以实际行动，带头废除领导职务终身制，推进干部制度的改革，这件事在党的历史上值得大书特书。是的，顾问委员会尽管是一种过渡性质的组织形式，但它成立后所起到的巨大作用，确实是需要当时人们和后人大书特书的。