1958年7月，毛泽东在中南海接见苏联驻华大使尤金，谈所谓“共同舰队”问题。接见前，毛泽东要我们准备录音。那个时候技术条件很差，公开摆一架录音机，庞然大物，不甚妥当，于是就找来一个微型录音机。这个录音机的受话器外观像一个手表，使用的时候，把这个“手表”戴在翻译，就是赵仲元的手腕上，另有一根线接着揣在他怀里的钢丝录音机。这次谈话时间很长，而那个录音机顶多个把小时就要更换一次录音钢丝。很快，一小时过去了，谈话继续进行，录音钢丝无法更换，录音没有成功。毛泽东很不满意，赵仲元却因为怀里的录音机发热，烫得肚皮疼，可是也只能忍耐着。这是一次“秘密录音”，一次不成功的录音。

    从1958年11月开始，毛泽东外出时，对毛泽东在外地的一些重要讲话，或同一些地方的负责同志的重要谈话，以及同一些外宾的谈话，也进行了录音（毛泽东同个别同志的谈话没有录过音）。所有录音带和根据录音整理出来的记录稿，都保存在原机要室，一般不外借，个别因工作需要借阅的，须经我批准，如向《毛泽东选集》编委会提供毛泽东讲话的部分录音稿，就是按规定办理报批手续的。

    1959年11月，毛泽东在杭州召开中央工作会议（我没有参加这次会），会上毛泽东谈到国际关系时，他关照参加会议的同志不要做记录，这时胡乔木说还有录音呢！毛泽东就很生气地说：“谁叫录音的？以后谁再录音就开除谁的党籍！”对毛泽东的批评，我专门召开了厅务会议原原本本地进行了传达。这以后，对会议录音我更谨慎。

    1960年4月，我陪毛泽东外出巡视，直到6月下旬，上海会议（就是毛泽东作《十年总结》讲话的那次会议）结束后才回到北京。在这次外出期间，毛泽东多次接见外宾，被接见的客人分别来自亚、非、拉美、东欧、西欧遍及全球；客人的身份从民间团体、社会知名人士到政府首脑和共产党的领袖；接见的地点有时安排在毛泽东临时下榻的地方，有时安排在他乘坐的专列上。这几次谈话都录了音，当然是经毛泽东事先同意的。

    1961年4月，我正在河北省徐水宣讲《人民公社六十条》，突接龚子荣电话，说毛泽东追查录音问题，要我立即回京。我回到北京以后，才知道毛泽东在长沙准备接见外宾时发现要录音，生了气。我在向小平、彭真同志说明情况的同时，一方面向毛泽东作书面检讨，承担责任，说在录音问题上疏于检查，请求处分；另一方面责成机要室的同志抓紧组织力量，选择最重要的录音尽快转化为文字记录，然后把所有的录音带清点登记销毁。

    中央书记处在小平同志的主持下召开会议，专门讨论了录音问题，通过了《关于录音、记录问题的决定》。《决定》提出：中央重要的正式会议，经书记处批准，可以进行记录。此外，党代表大会，中央全会，中央工作会议，中央政治局、书记处会议等中央会议；中央领导同志和党内同志的谈话；中央领导同志接见外宾的谈话一律不准录音。并要求中央一级政府、军队、人民团体、各部门和各地方各级党、政、军、群组织，均仿照这一规定办理。为了严格执行这一决定，又不能重复《论十大关系》无记录的错误，就决定选调一批青年，培养成速记员，恢复会场速记的办法。徐瑞新、田鹤年、师金城他们几个青年人就是这个时候调来学速记的。直到1965年冬，我被免去中央办公厅主任职务前，大型会议的记录都是用速记的办法完成的。

    “文化大革命”开始后，“秘密录音”就成了我的一大罪状，说我搞“窃听”，是“大特务”。你整我一个人倒也罢了，可是因为是“窃听”，就把徐子荣、王芳等一大批人都牵连进去了，把毛泽东外出巡视时所有到过的省、市公安厅、局长都牵连进去了。这是林彪、江青一伙，为了整人不择手段就是了。当然，首先是毛泽东不喜欢录音。

    我坚持认为，录音不但不是我的罪过，相反是一大功劳。录音，就是为了保存党的历史文献嘛！遗憾的是，1961年销毁了大批录音带，由于时间紧迫，抢救下来的东西太少了，不知有多少珍贵史料化为灰烬。