黄克诚对有关领导讲：“刘少奇同志是被诬陷的，是林彪、江青一伙搞的鬼，事实清楚，但还有人突破不了禁区，这就不是实事求是，我们要主持正义！”从事实真相上看，为刘少奇平反有着充分的依据。但是，由于中央内部有人阻碍，平反工作还有相当阻力。对此，黄克诚决心把这件事一抓到底。

　1979年11月底，黄克诚派中纪委干部徐岚到河南，了解核实当年刘少奇被武装监护以及惨死在开封的情况，以备日后为刘少奇平反时使用。不久，黄克诚将了解到的情况向邓小平、叶剑英和陈云进行了汇报，对刘少奇的平反问题提出了详细建议。黄克诚清楚地认识到，刘少奇案件不是一个普通的问题，它涉及党的十一届三中全会后，党内两种不同的态度：一方面是实事求是，解放思想；一方面还是有人僵化教条，坚持原来的“既定”方针。黄克诚认识到，不解决这个矛盾，刘少奇的平反工作是不会顺利的。所以，他在给陈云汇报工作时，也谈了自己对这个问题的看法，希望中央加快进程，加大力度。

    1980年1月举行的中纪委第二次全体会议，在讨论处理历史上遗留下来的几个重大是非问题时，黄克诚明确提出要做好刘少奇案件的复查平反工作。1月16日，邓小平在中央召集的干部会议上所作的《目前的形势和任务》的讲话中，宣布中央将在不久后为刘少奇恢复名誉。

    在1980年2月下旬召开的中共十一届五中全会上，胡耀邦当选为中央委员会总书记，汪东兴、纪登奎、吴德、陈锡联所担任的领导职务被免去，一大批年富力强的干部进入中央政治局和中央书记处。伴随着组织调整，会议通过了为刘少奇平反的决议，撤销了中共八届十二中全会强加给刘少奇“叛徒、内奸、工贼”的罪名和把他“永远开除出党，撤销其党内外一切职务”的错误决定。会议向全党宣布：因刘少奇问题受株连而造成的冤假错案，由有关部门予以平反。

    当这一重大决定形成时，黄克诚感到非常欣慰。因为这不仅仅是为刘少奇平反，事实上是对新中国历史上最大冤案的纠正，从根本上否定了“文革”所谓的摧毁“以刘少奇为首的资产阶级司令部”的中心内容，进而为彻底否定“文革”扫清了道路。

    对于一些冤假错案，即使有些同志已经去世，或本人没有申诉，黄克诚也主动查清平反，为许多人洗清了多年的不白之冤。但他对自己身上背了几十年的冤案却并不着急，他说：“我现在已经有工作做就行了。”当有关部门整理历史资料，就因他提出正确意见而遭到批斗、撤职的问题向他了解核实情况时，他仍以大局为重说：“如果当时那几个负责同志还在，我还是可以和他们辩论的，但是他们已经去世了，我还在，我不能单方面来做评论。”他又叮嘱说：“你们要实事求是，把事实说清楚就行了，不要说过头了，不要给那几个负责同志脸上抹灰，给他们抹灰就是给党抹灰。”