由于对合水的城池布防掌握不够，西野的突击没能取得预期效果，而我军围攻合水的意图却暴露无遗，双方在合水周围形成了对峙局面。这时，驻守庆阳的“马家军”整编骑兵第八旅一个团，仗着骑兵的机动速度和精良的装备，高举战刀，气势汹汹，直奔合水而来，企图解合水之围。

负责警戒的教导旅仓促应战，损失不小，王震急令独四旅出其不意地从马莲河一线悄悄插到这股敌人身后，断其退路，以给其造成心理上的压力。果然，这支“马家军”骑兵部队闻听后路被断，便不约而同地拨转马头，夺路而逃。这时，我军战士一看敌军要逃，便不顾一切地猛扑上去，死死地抱住马头或揪住马尾巴，高喊“缴枪不杀！解放军优待俘虏！”但这些马上屠夫毫不犹豫地手起刀落。我军又伤亡一部。

在我军指战员的奋力拼杀下，敌军总算撤退了，部队开始打扫战场，总结经验教训，以迎接下次战斗。但是，西北野战军将士们忽略了一点，那就是对“马家军”迫切的仇怨报复心理和敢于铤而走险的野性估计不足。第二天一大早，庆阳驻敌便倾巢出动，“马家军”整编骑兵第八旅以2000多人，分南北两路，再次前来解合水之围。疲惫不堪的教导旅和独四旅由于疏于戒备，事先该扼守的隘口没有扼守，阵地也没有构筑，很快，这两支部队便被敌军逼到了险境……

敌军骑兵同我军指战员混战在一起，步枪手榴弹已难发挥作用，战场上听不到爆炸声，只见刀光闪烁，鲜血四溅。我军战士手握着手榴弹毫无畏惧地扑闪在敌人马群中间，只见敌军一骑兵冲了过来，我军战士倒下了，手榴弹也开了花，敌坐骑受了伤，另一个战士冲了上来，朝敌人胸前刺了下去，而敌人另一骑兵又冲来了，这个战士又倒了下去……战斗异常惨烈。

攻城的三五九旅形势也不容乐观。敌整骑八旅第一团偷偷潜至合水北山葫芦把附近，突然出现在合水近郊。“马家军”的出现令二纵上下大吃一惊，正在指挥部队围攻合水的三五九旅旅长郭鹏急忙从七一七团和七一九团各抽调一个连前去阻击。但由于事出仓促，两个连又腹背受敌，阵地遂被突破，人员被凶猛剽悍的“马家军”骑兵冲散。郭鹏急忙调七一七团的预备队第三营迎头堵截。三营接到命令后，还未运动到指定阵地，便与“马家军”骑兵遭遇。青马骑兵冲入三营急行军队列中，马踏刀砍。一阵激战后，三营以重大伤亡的代价挡住了青马骑兵向旅部的冲击。

就在三营与“马家军”骑兵血战之际，合水城内敌守军见到援军到来，轻重火力齐鸣，同时打开合水北门杀出，企图与救援的青马第一批骑兵约300余骑会合。郭鹏眼看青马骑兵就要打通与合水守军的联系，心中十分焦急，他冲出隐蔽部，要下山亲自组织部队反击，突然，飞来一颗子弹，正中手臂，他一下栽倒在地……

此时，青马骑兵已与合水城内敌军汇合，王震又收到消息：青马驻宁县的一○○旅已兵分两路，正向合水步步逼近。形势严峻，王震当机立断，决定率领部队撤出战斗。随后，我军转移到了合水西北一带不毛之地，摆脱了“马家军”骑兵的袭扰。

合水之役，终以我军失利、伤亡2500余人而告终。战役失利是彭德怀始料未及的，在全军上下引起了极大的震动。这是西野部队与“马家军”骑兵的首次大规模正面交锋，虽然合水战役的结果是我军失利，但这次战役也给了“马家军”以重大杀伤，战士们积累了打“马家军”骑兵的经验，为以后彻底歼灭“马家军”创造了条件。