一九六四年六月，罗瑞卿陪同毛泽东检阅北京、济南军区的军事汇报表演。
罗瑞卿在公安部会议上讲话。
把一位高级将领从解放战争的战场上召回来，委以组建中华人民共和国公安部和公安部队的重任，可见当时保卫新生政权安全的任务是多么急迫，全国社会治安状况是多么严重。
党中央决定让罗瑞卿担任新中国首任公安部长，不仅因为他既能征善战，又懂政治工作，而且早在红军时期就担任红一军团和红一方面军保卫局局长，长征中一路保卫党中央，任八路军野战政治部主任时曾领导开展锄奸侦察工作，显示了卓越的保卫工作才干。
开国大将罗瑞卿，面临的是共和国成立之初，我们现在难以想象的复杂社会局面。
毛泽东在香山双清别墅一见罗瑞卿就说：“听说你不愿意干公安部长，还要去打仗？现在要建立新的国家政权了，我们都不干，都还去打仗，那行吗？”
1949年4月，时任华北军区政治部主任兼第十九兵团政委、太原前线总前委第一副书记的罗瑞卿，与周士第一起，代理病中的徐向前指挥部队解放了太原。5月中旬，部队正准备挥师续征时，毛泽东致电罗瑞卿“请来中央一叙”。6月初，罗瑞卿向继任政委李志民交代了工作，与司令员杨得志等话别，与赴青岛休养的徐向前同乘火车到达北平。
几天后，周恩来找他谈话，要他出任即将成立的中央人民政府的公安部长（政府建立之前归军委建制）。罗瑞卿提出，希望随军作战，认为由中共中央社会部部长李克农出任更合适。周恩来对他说：“各人有各人的事，李克农有李克农的事（中共中央和中央军委不久决定取消中央社会部，另成立情报、公安两部）。”并告诉他，此事中央已经决定，“今晚毛主席还要接见你，你就不要再提上前线的事了”。
毛泽东在香山双清别墅一见罗瑞卿就说：“听说你不愿意干公安部长，还要去打仗？现在要建立新的国家政权了，我们都不干，都还去打仗，那行吗？”
7月6日，罗瑞卿就任中央军委公安部长。他按照周恩来的指示，在李克农的协助下，立即着手组建公安部。先以中央社会部的部分机构和华北局社会部全体人员为基础，随即，中共中央和中央军委抽调了数百名军队高、中级干部，及大批各地党委干部和青年知识分子进入公安部。
10月5日至11月1日，罗瑞卿在北京主持召开了第一次全国公安会议，毛泽东主席、周恩来总理等接见了与会人员并作了重要指示，朱德总司令作了报告。周恩来说：“军队与保卫部门是政权的主要的两个支柱。你们是国家安危，系于一半。军队是备而不用，你们是天天要用的。”
在组建公安部的同时，罗瑞卿已开始着手组建新中国的公安部队（不设宪兵、警备队）。率先成立的中国人民公安中央纵队，在建国初期社会治安极其复杂的情况下，保障了党中央和北平市的安全。
按照1949年9月通过的《中国人民政治协商会议共同纲领》和1950年4月中共中央政治局的决定，人民解放军统编为国防军和公安部队。罗瑞卿任公安部队司令员兼政治委员，程世才为副司令员，李天焕为副政委，吴烈、熊伯涛为正副参谋长。至1951年10月，组成正规公安部队20个师又23个团，共18万余人。此后，全国内卫、边防、地方公安部队都统一整编为人民解放军公安部队，总定额近54万人，受中央军委统一领导。
公安部队在罗瑞卿领导的十年间，协同有关方面平息了反革命暴乱和武装叛乱340起；建国初期配合国防军剿匪220万人，50年代末基本肃清国内残匪；捕歼、击沉、击伤和缴获敌船58艘，击落、击伤敌机4架。公安部队还赴朝鲜执行了抗美援朝作战中的后方警卫任务，包括维持战地和后方治安、看押俘虏和警卫板门店谈判等。
1953年7月16日，当时的国民党凑集了1.2万余人的军队，配备飞机、舰艇、坦克，由敌十九军军长指挥，从金门出动，一个伞兵大队由台湾新竹出发配合，向边防公安部队八○团守备的福建东山岛进犯，扬言要以此揭开“反攻大陆”的序幕。八○团进行了英勇激烈的阻击，激战两昼夜，坚守主阵地，直到国防军援兵到达，敌军遭重创，残部狼狈逃窜。毛主席对此做出高度评价，指出：“此次反击战，打破了国民党‘反攻大陆’的梦想，美帝国主义也挨了当头一棒。”
荡涤旧社会的污泥浊水
建国初期，国民党残余势力活动猖狂，流氓地痞、恶霸盗匪继续为非作歹，青楼妓院、烟馆赌场等依然存在，对新生的共和国起着严重的破坏作用。罗瑞卿一上任，即着手清扫这些旧社会遗留下来的污泥浊水。
首先是进行反动党团骨干限期登记。罗瑞卿说，“对反动党团骨干分子、特务、宪兵等采取限期登记自首的政策，在于解散反动组织，禁止他们的反动活动”。他严格强调政策界限，党团骨干只登记区分部委员以上，以免打击面过宽；对服从登记、坦白罪恶，交出名单、武器、通讯器材的，一般不予逮捕；对抗拒登记或登记后继续从事反动活动者，则逮捕管训，以“教育多数，打击少数”。罗瑞卿当时兼任北京市公安局长。北京的登记工作进行了三个月，反动党团特组织基本上被摧毁。
接着是严厉打击城市盗匪。北京、上海等13个大城市至1950年6月，共缉捕盗匪5477名，盗匪案件急剧下降。到1950年底，大城市盗匪活动已基本消灭。
与此同时，罗瑞卿还指示从严打击流氓阿飞活动。北京市解放初期，有“三星团”、“攮子队”等团伙，经常身带木棒、匕首出没于天安门、西单、西四等地，打群架，调戏妇女。还有所谓“搂包”、“锣车”、“猴车”等封建行会性质的团伙，或独霸车站客运，敲诈勒索，聚众行凶；或混迹三轮车队，强拉旅客敲诈，结伙行窃旅客货物；或解放前为外国人“拉皮条”，解放后仍诱迫妇女卖淫、勒索暗娼。各地对流氓的打击得到了广大群众的拥护，赞扬人民政府给人民除了大害。北京处决东郊大流氓孙起后，当地群众拍手称快：“这一下可晴了天了。”上海处决罪孽深重、继续作恶的流氓恶霸“码头春宝”、“江北大亨”时，刑场周围群众放鞭炮庆贺。
从19世纪开始祸害中国人的鸦片烟毒，当时在新解放的城市仍然弥漫。重庆刚解放时，有制毒者330家，烟馆3084家，每天卖出烟土达3400两。成千上万的瘾君子卖房卖地、卖妻女为娼。罗瑞卿指示对贩毒、售毒、制毒、运毒的大犯、惯犯及开烟馆的大业主、大窝主要坚决打击，发现和破获重大毒品案件他亲自过问、具体指导。如破获大毒贩庞辅臣勾结天津市禁烟局干部套购大量烟土，又勾结民警掩护装船，运往上海销售案。上海市从解放初至1952年上半年的三年中，共逮捕惩治毒品犯1.23万余人。一些毒犯转入地下，并与境外国民党残余势力勾结，继续向内地偷运毒品。衡阳铁路局在三反运动中查出走私鸦片、海洛因、吗啡共157万两。中央决定，再进行一次群众性禁毒运动，从1952年8月至11月的三个月中，全国又挖出毒犯36万人，缴获大量各种毒品，成百部又上万套制毒机，及一批贩毒武装的枪、炮、发报机。至1952年底，终于清除了烟毒。广大群众赞道：“毒害百余年，只有共产党才能解决这个问题！”
