尔朱氏重掌大权，嫌临时拥立的元晔族缘过疏，又从孝文帝的侄子里挑选广陵王元恭，逼元晔禅位。元恭即位，是为节闵帝。他是继元子攸、元晔之后的三号傀儡皇帝。
北魏境内，尔朱家族兄弟叔侄各霸一方：尔朱兆在北，兼有并州、汾州；尔朱仲远在东南，据守徐、兖二州；尔朱天光在西，专制关中；尔朱世隆则居中，把持朝政。然而，这些人擅长胡作非为，没一个真正成器的，相互之间谁也不服谁。吕思勉先生据此评价：“贪暴如此，虽与之天下，岂能一朝居？况乎怨雠者之日伺其侧邪？”
贪暴的尔朱氏是秋后的蚂蚱，蹦不了几天。所谓的“日伺其侧”者，便是高欢。
尔朱荣生前就看出来姓尔朱的没一个能做高欢的敌手。他问部下：“有朝一日我死了，谁可以统领大军？”大家都说：“尔朱兆。”
尔朱荣摇摇头：“尔朱兆也就率领三千骑兵打场小仗，有能力代我统领大军的，非贺六浑（高欢的鲜卑名）莫属。”
他告诫尔朱兆说：“你斗不过高欢的，终究会被他所制。”
尔朱兆并不把叔叔的警示放在心上，只把高欢当作手下的一员得力干将而已。尔朱荣被杀，尔朱兆派人请时任晋州刺史的高欢出兵，高欢以附近零星叛乱过多为由，暂时采取了观望的姿态。
尔朱兆对高欢很不满。可是没过多久，河西流民纥豆陵步藩率部南下袭击晋阳，打败了尔朱兆的军队。高欢出兵救援，与尔朱兆合力杀了步藩，尔朱兆就忘了之前的过节，感激高欢之余，与他结拜兄弟，摆酒庆贺。
高欢帮助尔朱兆，只是权宜之计，他明白还没到翻脸的时候。仅靠手头上的兵马，又身处尔朱氏的根据地山西，以卵击石是傻子的做法。要开创功业，一得人和，二需地利，然后才能期盼运气（天时）的降临。而就在宴席之间，尔朱兆主动向高欢咨询起一件棘手的事情。
葛荣的六镇部众被尔朱荣遣散后，十多万人流亡到了并州一带“寓食”。他们衣食无着，又要遭受尔朱氏的契胡凌辱，小规模的造反不断，令人防不胜防，杀不胜杀。尔朱兆很头疼，又想不出主意，就跟高欢商量，说要不把这批人统统杀掉算了，可是斩草难以除根，怕出乱子。
高欢暗喜，这是天赐良机，但不能表现得太明显。他一脸关切地说：“这个麻烦万万不能惹。于今之计，最好挑一名王爷（尔朱兆这时已进爵为王）心腹之人，让他负责领导这些人。”
尔朱兆深以为然，转念一想：“好是好，谁能胜任呢？”（自己往套里钻）
宴席间在坐的，有贺拔兄弟的老大贺拔允。贺拔三兄弟中，贺拔胜和贺拔岳都嫉恨高欢，贺拔允却跟高欢的私交不错，往来密切。他见尔朱兆问话，便随口应道：“贺六浑就是合适人选。”
高欢一听，伸手一拳挥了过去，把贺拔允打翻在地，掉落一颗牙齿。他气呼呼地说：“天柱大将军在时，我们这些人就是鹰犬。今日之事全凭王爷安排，阿鞠泥（贺拔允的鲜卑名）怎敢欺下罔上？请王爷将他严加处置！”
尔朱兆以为高欢真是实诚人，顺口说道：“我意已决，就交给贺六浑来统领，也算了结我的麻烦！”
好个高欢，尔朱兆话音一落，神情立刻变了。他怕尔朱兆说的是醉话，醒了以后反悔，马上就走出大帐，宣布道：“我高欢受王爷委任，统领镇兵，众人前去汾水以东集合，听我号令。”六镇兵士恨透了尔朱氏，又知道高欢出身也是个镇兵、参加过起义军，都愿意跟随高欢。
贺拔允有意无意的一句话让高欢赚足了起家的本钱，不论那一拳挨得冤不冤枉，那颗牙掉得值不值，他都是高欢集团的一大功臣了。有趣的是，宇文泰在关中创业，靠的也是贺拔氏（贺拔岳的大军）。高欢也因此只能取得北魏半壁江山，可谓“成也贺拔，败也贺拔”。
高欢一下子得了数万镇兵，问题又来了。并州连年闹霜灾、旱灾，将士没吃的，个个面如菜色。高欢派刘贵向尔朱兆请求，带领将士们去河北地界解决温饱。
长史慕容绍宗坚决不同意，他对尔朱兆说：“当今四方纷扰，人怀异望，何况高公雄才大略，握有重兵。放他东行，犹如纵虎归山！”
尔朱兆不信：“我和他磕过头，拜过把子，怕什么？”
慕容绍宗道：“亲兄弟尚难相信，何况拜把的兄弟！”
尔朱兆左右亲信得了高欢的贿赂，都在一旁说慕容绍宗的坏话，尔朱兆以为慕容绍宗挑拨他与高欢的关系，反而把慕容绍宗关起来，催高欢早点出发。
高欢整军离开晋阳，走到半道，碰上尔朱荣妻子北乡长公主带着三百多匹马从洛阳而来。高欢下令夺了马，编制成骑兵，继续东进。
北乡长公主跑到尔朱兆那里诉苦，尔朱兆感觉不对劲，又把慕容绍宗放出来问他怎么办。
慕容绍宗算了下时间，说：“高欢还在我们的掌握之中。”尔朱兆亲自领兵追赶，在襄垣郊外追上了刚刚渡过漳水的高欢军队。
高欢见漳水高涨，便隔水向尔朱兆拜谢：“我军马匹不足，所以借马，为的是防备河北的盗贼。王爷亲自来追我，我愿渡水受死，只恐这些部众将来又要叛乱了。”
尔朱兆哪有高欢那么多心眼，赶紧申辩说决无杀他的意思，然后一个人渡过漳水，向高欢表示道歉，还伸出脑袋让高欢砍，以表诚意。（尔朱兆闯江湖倒可以混个义士当，搞政治的话显然幼稚得可笑）
高欢当场大哭说：“贺六浑仰仗的就是王爷，愿为王爷出身入死。如今旁人离间我们的感情，王爷怎么可以让我如此难堪呢！”当下与尔朱兆杀白马为盟，发誓一辈子做兄弟，两人又是一醉方休。
尉景劝高欢乘机杀了尔朱兆，高欢则认为尔朱兆草包，不急一时。次日清晨尔朱兆回到对岸，见了慕容绍宗，心里后悔，又要高欢过来叙谈。高欢哪里肯听，带着人马自顾出太行山而去。尔朱兆隔着漳水骂了一阵，想想高欢毕竟没有造反，也就撤兵回了晋阳。
高欢的治军方略强过尔朱氏太多，而且一路上军纪严明。他要求兵士对百姓秋毫无犯，过麦地下马步行，自己以身作则。他熟悉六镇兵民的习惯，很注意在各方面尊重镇兵。到达河北时，高欢手下都是真心拥戴他的人了。
河北的当地势力多数并不买高欢的账。殷州刺史尔朱羽生、相州刺史刘诞、定州刺史侯渊等人是尔朱氏的亲信。高欢向刘诞求粮，刘诞不给。他打听到附近有个租粮的军营，亲自带兵去抢，才获得了有限的粮食。
据守冀州信都的汉族豪强高乾兄弟、封隆之等人，在高欢陷入困境时，向他伸出了援助之手。
高乾与高欢同宗，也是渤海蓚人。他这支的状况比高欢要好，父亲高翼在冀州是大户，结交甚广，远近闻名。高乾兄弟四人，最为人称道的，就是三弟高敖曹。高敖曹本名高昂，因为胆力过人，姿貌绝伦，武功极佳，当时人们都用字敬称他，还把他比作项羽。
高乾听说高欢到了信都附近，便对几个弟弟说：“我听说高晋州雄才盖世，志向高远。尔朱氏无道，正是英雄效义之时。我意已决，奉迎高晋州入城，诸君无须担忧。”
他带着十几名随从出城迎接，把高欢的大军请到信都。高欢与高乾性情相投，很快就成了好朋友，两个人同榻而眠，结为至交。粮草充足的信都城，也让高欢的镇兵第一次感到了衣食无忧的幸福。
过了几个月，高欢见时机成熟，便假造尔朱兆的文书，说要征召一万人回山西做契胡的部下，去打稽胡。将士们不愿再回去受苦，哀号遍野，哭声震天。
高欢装作一副劝慰的口气说：“我与你们情同一家，不想上有军令。现在去山西是死路，误了军期也是死路，如之奈何？”
将士异口同声道：“只有造反了！”大家一致推举高欢为首领。
高欢又说：“你们没有看到葛荣的失败下场么？即便拥兵百万，如若没有严明的刑法保障，到头来还是灰飞烟灭。若要推举我为首领，得和以前不一样：一不得侵犯汉人；二不得违犯军规，服从我的命令。大家能做到么？”
将士们连呼：“绝对服从！”集体在高欢面前拜倒。高欢下令宰牛造饭，让众人保餐一顿，然后宣布讨伐尔朱兆。
建明二年（公元531年）七月，高乾与另一名豪强李元忠攻灭尔朱羽生，兼并了殷州（今河北隆尧东）。高欢深受鼓舞，他按照孙腾的建议，立勃海太守元朗为帝，自任丞相、大将军，改元中兴，正式在信都起兵。