杨宇霆到东京后，进入日本陆军士官学校第八期炮兵科学习，成绩也很优异。1911年5月，杨宇霆学成回国，恰逢赵尔巽再任总督，听说当年派去的留学生回来了，赵尔巽高兴地予以接见，又见到了杨宇霆，印象也很好。不久，杨宇霆被分配到孟恩远部(驻长春)任见习排长，后升任营长。1913年，调任东三都督府任军械科长兼军械厂厂长。对于一个不到30岁的人来说，也算是少年得志了。这期间，张作霖已逐渐成为奉天举足轻重的人物。有一次，张在街上看到一队军人，军容整齐，训练有素，起初还以为是日本军队，但一打听，原来是军械厂卫队连，是杨宇霆训练出来的。张作霖赞赏之余，也记下了杨宇霆这个名字。1916年4月，张作霖终于当上奉天督军兼巡按使，成了封疆大吏。杨宇霆就是这时被张作霖收入幕中的，委为27师参谋处长的重任。从此，杨宇霆开始辅佐张作霖，成为张作霖不可或缺的左右手。

　　杨宇霆自视甚高，骄纵恣睢，眼中只有一个张作霖。东北军政事务，杨宇霆均可左右。而张作霖对杨的宠信也异于常人，甚至将个人私章也交给他。就算杨宇霆怀有二心，张作霖也能容忍。直皖战争时，张作霖支持段祺瑞，成立奉军总司令部，张作霖亲任司令，徐树铮任副司令，杨宇霆任总参谋长。但杨宇霆却与徐树铮合谋，私下在洛阳、信阳等地成立了四个旅的军队。张作霖知道后，十分生气，当即罢了他们俩的官。杨宇霆不敢回东北，只好赋闲北京。

　　直皖战争后，张作霖的气儿也消了，认为施治东北，非杨宇霆辅佐不可，就把杨宇霆请回奉天，任东三省巡阅吏，上将军公署总参议兼奉天兵工厂督办，反倒比以前更受重用了，可以说是位同首辅。张作霖起自草莽，但对王永江、杨宇霆等倚重之人从来不说一句粗话。有一次，张作霖和杨宇霆为一件事争论起来，张生气了，说了一句“妈的”，杨不干了，说“你骂谁？”张马上作揖赔罪，说：“这是咱的口头话，一个不留心溜出来了，敢是骂谁！”胡适说“这个故事很美”。

　　在辅佐张作霖时，杨宇霆确实发挥了别人难以替代的作用。奉军27师，原系张作霖统领的中前两路巡防营改编而成，其家底是张作霖早年的“保险队”，所以训练、纪律和战斗力都不敢恭维。经过杨的整训，军容为之一新，战斗力也有了较大的提高。杨宇霆被杀后，于冲汉送了一副挽联：棘门霸上如儿戏；我识将军未遇时。意思是说，张作霖在未遇到杨宇霆的时候，他的军队就像是棘门霸上的儿童嬉戏，而杨宇霆来了之后，奉军好像是周亚夫的细柳营一样了。虽有过誉之词，但杨宇霆帮助张作霖改造和训练军队的功绩还是有的。