担心拥兵荆州的桓玄叛变，东晋朝廷以司马元显、刘牢之等领军，前去攻打桓玄；桓玄也随即挥师顺流东下。东晋末年著名的“桓玄之乱”，就此爆发。

　　在混乱的局势之下，坐镇京口、统帅北府兵的刘牢之成为左右局势的重要力量。据《晋书·刘牢之传》记载，刘牢之虽然奉命从京口出发，率北府兵屯驻于洌洲（今安徽境内），可他却有两点顾虑。其一，桓玄“少有雄名，杖全楚之众，惧不能制”；其二，担心如果消灭桓玄之后，自己功盖天下，“必不为元显所容”。

　　就在这时候，桓玄派刘牢之的族舅何穆前来游说，劝刘牢之背叛司马元显，投靠桓玄。刘牢之与司马元显素来关系不睦，此时桓玄又已俘获了谯王司马尚之，军威正盛，刘牢之遂起了反心。依他的想法，是先借桓玄之手除掉司马元显，然后再伺桓玄之隙，取而代之。

　　据《资治通鉴》记载，听说刘牢之和桓玄私下往来，刘裕和刘牢之的外甥何无忌一起极力劝阻，可刘牢之根本不听。刘牢之的儿子刘敬宣也不赞成投靠桓玄，认为一旦桓玄掌权，必将酿成东汉末年的董卓之乱，到时候再想铲除他，可就困难了。听了刘敬宣的这番话，刘牢之大怒道：“吾岂不知！今日取玄如反覆手耳；但平玄之后，令我奈骠骑何！”意思是，今天我打败桓玄易如反掌，可到时候，我怎么对付骠骑大将军司马元显呢？从这句话里可以看出，刘牢之自以为北府重兵在手，很是自负。他这时候一门心思是想借刀杀人，除掉司马元显。

　　元兴元年（402）三月初一，刘牢之派儿子刘敬宣拜见桓玄，正式纳降。司马元显原本指望着刘牢之统帅北府兵平叛，没想到刘牢之背地里却是反戈一击。面对桓玄大军，司马元显的部队彻底崩溃。桓玄大军高歌猛进，攻入建康。桓玄以都督中外诸军事、丞相、录尚书事、扬州牧，总揽东晋军政大权。随后，桓玄杀死司马道子、司马元显父子，令自己的亲党镇守各地，其中任族兄桓修为徐、兖二州刺史，出镇京口。

　　令刘牢之没想到的是，桓玄也早有消灭他的心思。两人可谓各自心怀鬼胎。据《晋书·刘牢之传》记载，除掉司马道子父子之后，桓玄任命刘牢之为征东将军、会稽太守，也就是说，剥夺了刘牢之的北府兵权。闻此消息，刘牢之叹道：“始尔，便夺我兵，祸将至矣！”

　　刘敬宣劝刘牢之发兵，攻打桓玄，刘牢之却是犹疑不决。他把部队移到班渎，然后打算北上，和驻扎在广陵的女婿高雅之会合，共同讨伐桓玄。

　　据《宋书·武帝本纪》记载，刘牢之把这一计划告诉了刘裕，想让刘裕和自己一同去广陵。刘裕说：“当初将军统领数万精卒，却投降了桓玄。现在桓玄得志，威震天下，众望所归，将军这时候起兵，怎么可能成功呢？我打算脱去军服，穿上百姓的衣服，回京口去了。”用今天的话来说，刘裕这是打算退伍了。何无忌听说刘裕准备走了，便来找他，问自己该何去何从。刘裕对何无忌说：“你可随我还京口。桓玄如果谨守臣节，我们就为他做事；如果他有不臣之心，我们再想办法对付他。”刘裕回到京口，桓修任命他为中兵参军。

　　那边刘牢之准备起兵，召集众将商议此事。参军刘袭说：“事不可者莫大于反，而将军往年反王兖州，近日反司马郎君，今复欲反桓玄。一人而三反，岂得立也！”刘袭的意思是，你先反王恭，再反司马元显，如今又欲反桓玄，如此反复无常，怎么在天下立足呢？刘袭说完这番话，就快步走了出去，众将也多散走。

　　根据刘牢之的安排，刘敬宣此前已到京口去接家眷，可刘敬宣逾期迟迟未归。刘牢之以为自己的计划泄漏，刘敬宣已为刘袭所杀，于是自缢而死。一代名将，落得如此下场，实在令人欷歔。

　　刘牢之身亡不多久，刘敬宣携家眷赶来，闻此凶讯，来不及哭丧，赶紧渡过长江，去投奔高雅之。刘牢之的部属将他的尸首装殓起来，用棺木运回丹徒安葬。桓玄听闻刘牢之自杀身亡，命人到丹徒挖开坟墓，劈开棺木，将其首级砍下，尸身扔到街上示众。

　　桓玄对北府兵素来忌惮，剥夺刘牢之北府兵权，正是出于这一考虑。据《晋书·桓玄传》记载，刘牢之死后，北府旧将如吴兴太守高素，辅国将军竺谦之、刘袭，冠军将军孙无终等，均被桓玄杀害。

　　曾席卷东南的孙恩农民起义，又卷土重来。孙恩战败后，投水自尽，大家便推举孙恩的妹夫卢循为首领。桓玄下令刘裕前往征剿。刘裕大败卢循，以功授彭城内史。刘裕东征卢循时，何无忌随行。在回军至山阴的时候，何无忌劝刘裕在会稽举兵，反攻桓玄。刘裕认为，桓玄此时还没有称帝，而且会稽距离京城太远。不如等桓玄篡逆之后，在京口起兵，不愁此事不成。

　　元兴二年（403）冬十一月，觊觎帝位已久的桓玄，废晋安帝为平固王，自己登上帝位，改国号为楚。次年正月，桓修自京口入朝，将刘裕也带了过去。据《南史·宋本纪》记载，桓玄见到刘裕的次日，对司徒王谧说：“昨见刘裕，风骨不恒，盖人杰也。”每次出游和集会，赏赐给刘裕的东西都很多。

　　桓玄的皇后刘氏很有智识，她见到刘裕之后，提醒桓玄说：“刘裕龙行虎步，视瞻不凡，恐必不为人下，宜早为其所。”桓玄答道：“我方平荡中原，非裕莫可。待关、陇平定，然后议之。”可见当时桓玄对刘裕的态度是既赏识，又猜忌。

　　几天之后，桓修准备返回京口。刘裕谎称金疮未愈，不能骑马从陆路行走，让桓修先行。自己和何无忌一起，悄悄地坐船返回京口，秘密谋划起兵之事。

　　据《资治通鉴》记载，谘议参军刘迈的弟弟刘毅，家在京口。刘毅这天找到何无忌，商量讨伐桓玄之事。刘迈是桓玄身边大臣，刘毅此番前来，是不是在试探口风呢？何无忌便故意说：“桓氏强盛，其可图乎？”刘毅说：“天下自有强弱，苟为失道，虽强易弱，正患事主难得耳。”意思是，要想成事，就差一个可以振臂一呼的英雄。何无忌进一步试探道：“天下草泽之中非无英雄也。”刘毅道：“所见唯有刘下邳。”因刘裕曾任下邳太守，故刘毅称他为“刘下邳”。

　　何无忌笑而不答，随即将这番话告诉了刘裕。刘裕很是信任刘毅，便把他找来，共同商议起兵大计。据《宋书·武帝本纪》记载，当时共同商议此事的，除了何无忌、刘毅，还有刘裕的弟弟刘道规，以及孟昶、魏咏之、檀凭之、诸葛长民、王元德、辛扈兴、童厚之等人。

　　此前桓玄任命桓修之弟桓弘为青州刺史，镇守广陵。刘道规正在桓弘手下，任中兵参军；孟昶任青州主簿。刘裕便派刘毅过江至广陵，与刘道规、孟昶会合，除掉桓弘，占据广陵。那个当年曾羞辱过刘裕的刁逵，被桓玄任为豫州刺史，镇守历阳（今安徽和县）。诸葛长民在刁逵手下任参军。刘裕让诸葛长民伺机杀掉刁逵，占据历阳。王元德、辛扈兴、童厚之正在建康，刘裕让他们作为内应。大家约定时间，共同举兵。