袁世凯在小站练兵时，把旗营旧例全都推翻了，有人参了他一本，兵部尚书荣禄奉命前往查办，陈夔龙随同前往。

对于这次出行，文史学者王学斌在《官运盈而国运尽——也谈陈夔龙》一文中有如下记述：

这次赴天津办案，纯属走过场。不过这对于陈夔龙而言，不啻是一次展示自己、博取荣禄好感的机会。途中，荣禄问陈夔龙年岁几何，补缺约计何时。陈夔龙回答：“行年已四十，到部亦十年，叙补名次第八。即每年出缺一次，亦须八年始能叙补。恐此生以冯唐老矣。”荣禄说：“观君骨相气色，五年内必有非常之遇。而部中补缺例须计俸，未可躁进。”

所谓“骨相气色”，恐怕是三分经验七分忽悠，并不靠谱。然其弦外之音则至为明显：陈夔龙若听命行事，不节外生枝，保你补缺升官。陈夔龙自然明白荣禄的暗示，一路察言观色，唯唯诺诺。

当检阅操练时，荣禄问陈夔龙：“君观新军与旧军比较何如？”陈夔龙回答：“素不知兵，何能妄参末议。但观表面，旧军诚不免暮气，新军参用西法，生面独开。”荣禄说：“君言是也。此人（袁世凯）必须保全，以策后效。”其实若按兵部条例，仅新军擅杀营门外卖菜佣一条，袁世凯便可遭到严惩。但陈夔龙曲意迎合荣禄，在撰写奏稿时笔下留情，淡化过程，抹去罪证，终致此案不了了之。

待此事办妥，回到兵部，排在陈夔龙前面的七名竞争对手，要么病退，要么调走，要么受罚，要么弃权，于是他名次飙至第一，顺利顶补缺位。(李永军)