尔朱荣回到晋阳，便开始张罗讨伐葛荣起义军的行动。葛荣这个时候几乎控制了今天的河北全境，他攻下了冀州的信都（今河北冀县），又对北面占领定州（今河北定县）、瀛州（今河北河间）、幽州等地的杜洛周的军队发动突袭，击杀了杜洛周，兼并了他的地盘和部众。
河北最南端的州是相州，治所在邺城（今河北临漳附近），也是国都洛阳的最后门户。若相州再失，葛荣大军就可以顺利渡过黄河，威胁洛阳。北魏的相州刺史李神誓死不降，葛荣恼火，率领主力军队，号称百万之众（当然能有十万就相当不错了，而且葛荣的所谓大军“虚胖”很严重，战斗力也得打上大大的折扣），包围了邺城，一些游兵散勇已经逛到了黄河边上的汲郡。
尔朱荣镇压起义军的经验丰富，并不怕外强中干的葛荣。他让侄子尔朱天光代他镇守晋阳，然后从本部精选了七千骑兵，以侯景为前驱，倍道兼行，从滏口（今河北磁县西北）东出太行山，抄到了邺城北面，在葛荣大军的身后摆开阵势。
葛荣对尔朱荣的突然出现略感吃惊，但他打惯了胜仗，又见尔朱荣的人数不多，喜形于色地对手下说：“这些人容易对付，大家每人带条长绳，准备给我抓活的！”
他暂时停止了对邺城的攻击，列阵数十里，张开两翼，向尔朱荣的骑兵队伍包围上来。
尔朱荣把军队引到附近的山谷，将手下督将按三人为单位分为多处，每处率领几百名骑兵，来回奔跃，扬尘鼓噪，让葛荣的军队无法判断究竟有多少人马。然后给每人发一根袖棒，挂在战马侧部，遇到敌人时，就用袖棒击打，无须费功夫斩首。
这招很高明，对付葛荣的准民兵，将其击倒在地，不管是死是活，都等同于消灭其战斗力。据说，这种袖棒，就是唐初秦琼的手中兵器双锏的前身（尔朱荣的战略头脑近乎白痴，但战术素养确实很有一套）。
两军交锋，葛荣的军队人多势不众，完全吃不住尔朱荣装备精良的骑兵猛冲。尔朱荣亲自率领一支人马绕到背后，把葛荣的阵势杀得七零八落，就地生擒葛荣。底下的十几万士兵也被袖棒打得满地乱滚，呼天喊地，乞求饶命。
基于六镇起义的教训，尔朱荣没有处置投降的士兵，而是让他们亲属相随，自寻出路，不再追究罪责。“首恶”葛荣押赴洛阳斩首，一些部将则被尔朱荣收编，跟着他迁往晋阳。河北起义至此基本烟消云散。
委身于葛荣手下多时的宇文洛生、宇文泰兄弟，也在尔朱荣的收编之列。尔朱荣对他俩又爱又惮，心理很矛盾，爱的是才华出众，惮的是名高望重。没过多久，尔朱荣还是找了个罪名，把宇文洛生抓起来杀了，正要再杀宇文泰，宇文泰以理诉冤，陈词慷慨，尔朱荣听了很受感动，不但改变了主意，还任命他为统军。
尔朱荣行事向来考虑不周，极具游牧民族的特色，凭此显然难成大事；而宇文泰能屈能伸，年纪轻轻（当时年仅二十二岁）已露出领袖气质。他在北方大乱中连失父亲和三个哥哥，却从中习得了旁人少有的隐忍，着实可怕。否极泰来的宇文泰终于从尔朱荣手中得到小股部众，有了一展身手的机会。
尔朱荣功勋卓著，进位大丞相，封柱国大将军，两个儿子尔朱文殊、尔朱文畅一并进爵为王。
葛荣虽被消灭，北魏境内尚有多处叛乱没有平息，其中以青州的邢杲和关中的万俟丑奴为最强。不过，尔朱荣最该头疼的，应该是南朝的正规军。
北方大乱，自顾不暇，南方的梁武帝也没闲着，他看到了兴复中原的新希望。从普通五年到七年（公元524年—526年），他连续发兵进攻淮水下游的北魏占领区，首要目标是拿下寿阳。
时隔多年，从前对魏作战功勋显赫的韦叡、曹景宗、马仙琕等人都已去世，老一辈的名将惟有豫州刺史裴邃还在独撑，梁武帝在调兵遣将上显得有些捉襟见肘。普通五年，他请裴邃坐镇，都督征讨诸军事。这次行动比较顺利，寿阳东北的不少城池都被轻松攻拔。裴邃的主力几乎已经攻下寿阳，因后援不继才被迫南撤。
普通六年，裴邃又攻下了寿阳西面的新蔡和郑城（今河南颍上），形势一片大好。然而紧要关头，年事已高的裴邃却在军中病逝了。
梁武帝以中护军夏侯亶接替裴邃，负责攻打寿阳的行动。夏侯亶是南梁开国功臣夏侯详的儿子，才学虽高，打仗非其所长，寿阳攻防战一时转入僵持。
北面的彭城方面则传来了利好消息，北魏徐州刺史元法僧谋反不成，率部叛投梁国。梁武帝喜出望外，他欣然纳降，派兵北上接应，并命次子豫章王萧综率众将进驻彭城。将领名单中最值得注意的，是武威将军陈庆之。
之所以提请注意，不全是因为他后来惊人的表现。仅仅从早年的记录来看，陈庆之在梁国、乃至南朝史上是一个异类。
我们知道，南朝评判一个人的标准，首先是出身门第，其次是品行学问，再次是容貌举止。三者都平常无奇的人，别说做官，即便在社会上，也不会有人瞧得起。陈庆之呢，家族无考，品学未知，貌不惊人，而且武艺很烂，史载他“射不穿札，马非所便”，连箭都射不来，马都骑不好（比坐小车的韦叡还惨），没有一处可以引人注意的。如果说老一辈名将韦叡的低调有其内敛的因素，那么陈庆之的低姿势，则完全是“事实如此”。
他出身卑微（或者是父母双亡，或者是家境贫贱），自幼追随梁武帝，相当于小仆从。梁武帝好棋，常常与人通宵对弈，别人都吃不消，只有陈庆之可以一夜不睡地陪梁武帝玩。梁武帝对他喜爱有加，登基后，把他放在身边做主书（主管文书）。
普通北伐前，陈庆之除了这个文职，从未在军中做过事，更别提带兵打仗了。梁武帝了解他，信任他的稳重，让他在萧综手下做杂号将军。刚过不惑的陈庆之就这么上了前线。
“一颗老鼠屎，坏了一锅粥。”梁武帝企盼以彭城为据点，扩大北进的规模，谁想行动遭遇了意外，气得他差点没去撞墙。他心爱的儿子萧综不认他这个爹，还视他为仇敌。
梁武帝反齐攻下建康时，将东昏侯萧宝卷的宠妃吴淑媛纳为妃子，七个月后产下了萧综。萧综长大后从母亲那里听说此事，便掘开萧宝卷的坟墓，滴血验亲（这相当于古代版的DNA化验，化验过程是，将自己的血液滴到萧宝卷的骨骼上，如若渗入，则两人是血亲。鬼知道是否有科学道理。其实齐梁两萧是只隔了四五代的亲戚，即便采用DNA测验，有所相似也该正常），坚信自己是南齐皇室的后代。他抓住梁魏两军在彭城对垒的时机，连夜逃入魏军大营投降。
梁军十分搞笑地丢了主帅，立时溃散，彭城得而复失，还伤亡数万兵力。沮丧之余，陈庆之却让为良将发愁的梁武帝眼前一亮：他的军队号令严整，全师退到了建康。
于是一年后梁国再次攻寿阳时，陈庆之被授予假节、总知军事。夏侯亶和元树分南北两路合攻寿阳。北魏的主力军正在河北清剿，无法有效支援寿阳。寿阳城破，梁武帝终于如愿以偿。陈庆之升为东宫直阁，负责太子东宫的防务，赐爵关中侯。短短一年之内，陈庆之从小主书一跃为大侯爵，虽说梁武帝有意提拔亲信，但陈庆之的战功还是足以让很多久经沙场的宿将大跌眼镜。
夺取寿阳只是开端。梁军乘胜挺进，在淮北连战连捷，攻到北魏南兖州的治所涡阳（今安徽蒙城）城下。梁军主力的领军是曹仲宗，陈庆之持节监军。北魏援军逼近涡阳，他亲自指挥两百名骑兵，突然袭击立足未稳的魏军前锋，杀得魏军措手不及，前军大败，后军震恐。
两军在涡阳城对垒，从春到冬连续作战，师老兵疲。曹仲宗担心腹背受敌，打算退兵。陈庆之坚决反对，他手持杖节，站在军营门口喝道：“大军共至此地，已达一年，所耗粮草甚多。各军毫无斗志，还想退缩，哪里是要立什么功名，明明是借机掳掠财物而已。我听说‘置之死地而后生’，现在正是破敌之时！我有陛下密敕，违我令者，一概严惩！”（我军疲惫，难道敌军不疲么？为将之人有不畏劲敌的决心，才能取得所向披靡的战绩）
曹仲宗等人被说得面红耳赤，只好依从。陈庆之也不强攻，他乘着夜色，率军偷袭涡阳城周围的魏军据点，一夜攻下四个。天亮后，陈庆之命魏兵俘虏排开阵势，冲在前面，梁军则紧随在后，攻打北魏余下的九个据点，直杀得涡阳城外尸首成山，涡水断流。梁军攻陷涡阳城，又进据豫州的城父，离北魏的统治中心司州不远了。
涡阳一战，陈庆之军队的勇猛简直成了北魏士兵的噩梦。他本人与麾下的士兵个个都身穿白袍，魏国人称他“白袍将军”，“白袍”成了“韦虎”之后最令魏国人恐惧的名词。（个人以为，白色在战场上是对视觉刺激最强烈的颜色，一旦染了鲜血，能起到相当大的震撼敌人的作用。以白袍作为战袍，正蕴涵着作战者莫大的气概与信念。我甚至猜测，《三国演义》里长坂坡白袍小将赵云的设计，可能也受了“白袍将军”的启发）
梁武帝决定给陈庆之一次单独表现的机会。河阴惨案后，北魏宗室接连投奔南梁，“革命形势”一片大好。大通二年（公元528年），梁武帝封北魏北海王元颢为魏王，命陈庆之为飚勇将军，护送元颢北上称帝，想以此达到控制北朝的目的。耐人寻味的是，他只给了陈庆之不到一万的人马，却险些闹出个天翻地覆。