高肇杀了元愉、元勰后不久，被加封为车骑大将军，继而又升任司徒，位登三司（也就是所谓太尉、司徒、司空“三公”）。小人如此得势，足可看出，北魏的衰亡已经不可避免。
清河王元怿是个明白人，他曾经在一次宴席上，乘着酒劲，挖苦高肇说：“天子的兄弟能有几个，按你的杀法，差不多要翦除干净了！过去王莽凭着国舅的地位，篡了汉室江山；如今看阁下的样子，恐怕最终也会制造祸端吧。”
元怿还劝宣武帝要防微杜渐，不可以放松警惕，并提出北魏是“明君失之于上，奸臣窃之于下”，祸乱的根源，便在于此。宣武帝听了不以为然，笑笑作罢，依旧袒护高肇。
宣武帝手中掌握的是个处于大变革时期的帝国。孝文帝时代留下来的一项项制度，都有待于进一步的贯彻与执行。孝文帝处理政事，极认真，也极负责。史载他“百官大小，无不留心，务于周洽”。他的治世哲学是：“凡为人君，患于不均，不能推诚御物。苟能均诚，胡越之人亦可亲如兄弟。”身为执政者，如果不能够平等诚恳地以统一的标准对待不同的人、不同的事，又岂能让天下人平等诚恳地做事，又岂能将改革措施一如既往地推行？
宣武帝恰恰不能做到这些。他最擅长的，是佛教的义理。他喜欢在内宫召集天下名僧，亲自讲经论道（北魏中后期的皇帝，佛学的修养都不低，而以宣武帝为最甚）。大道理夸夸其谈地说了一堆，他本人并不能领悟多少。对于传承自前朝的政策与制度，他非但不能像父亲那样平等诚恳地执行，还大打折扣，很多东西到他手中就变了味。
比方说“俸禄制”，其本意是杜绝贪腐，改良官吏队伍。孝文帝处理贪官是绝不手软的，尤其对于皇亲贵族贪财恣纵，不是发配就是处死。宣武帝呢，则纯粹随心所欲，感情好了，根本不予处理。被杀身死的元禧、元详、元愉，一个比一个贪，倒台的原因，却不是因为执法严格，而完全是政治斗争的结果。打压他们的高肇，一面举着打击贪污的招牌，一面下手比谁都狠：元禧被诛后，他家的所有财物珍宝奴婢田宅，全部被高家霸占。宣武帝乐得做个顺水人情，对舅舅的行为睁一只眼，闭一只眼。其他的贵族，像广平王元怀这样的，也是一个劲地贪，只要皇帝信任，就不用担心任何惩罚。
姑息违法乱纪行为的结果，北魏的社会再也看不见孝文时代严谨的风气，洛阳城奢靡安逸的生活培养了一批不思进取的社会蛀虫，甚至出现了卖官鬻爵的现象。《魏书》认为宣武帝的水准相当于西汉的元帝、成帝和东汉的安帝、顺帝。以我看来，这是给了面子。宣武帝统治的十七年，比无所作为，更加糟糕。
宣武帝并非不想有所作为，他曾经对前来求和的柔然使者说：“你们蠕蠕先祖社仑乃我大魏的叛臣，之所以暂时不来攻打你们，只不过现在江南未平，所以让你们多活几天。想和我国通和，是不可能的。如若你们称藩修礼，那么我国自会优待于你。”
由此可见，宣武帝的目标是天下，他的抱负是要统一南北，廓清宇内。但他既不能像孝文帝那样亲临前线，指挥作战，也缺乏必要的战略眼光，白白浪费了孝文帝留给他的大好局势。
钟离之战前，他两次拒绝邢峦的正确建议，放弃在西线夺取益州，将大兵集结在东线，损兵折将之余，还逼得益州刺史王足投了南梁。钟离之战后，他并没有吸取教训，继续以东线为攻击重点，寻机报仇雪恨。没料想，旧恨未消，又添新仇。
郢州司马彭珍于永平元年（公元508年）叛逃，带领梁兵攻打郢州治所义阳。悬瓠将领白早生也杀了豫州刺史司马悦，向南梁的司州刺史马仙琕求援。宣武帝派元英、邢峦南下征讨，没费什么工夫就夺回了叛降的各城，马仙琕也被元英击退。信誓旦旦的元英一路紧追马仙琕，欲报钟离之耻，听说韦叡的援军就在前方，便不再追赶。
（看起来元英是患上了“恐韦症”，即便有面对面报仇的机会也不敢贸然行动；同时也说明北魏军队的凝聚力和战斗力不像过去那么让人放心了。此战结束后过了一年（永平三年，公元510年），元英抱着终身的遗憾病故，“战神”韦虎也从此定格为北魏克星）
永平四年（公元511年），形势反转。南梁的朐山（今江苏连云港西南）发生内乱，守将刘晰被民众所杀，首领王万寿向北魏徐州刺史卢昶求援。卢昶派郯城和琅琊的守将张天惠和傅文骥前往救援，打败了南梁的守兵，占领了朐山。这时宣武帝又犯了战略方向的错误，他听从卢昶的上表请求，派出多支军队，累计十万多兵士，力图守住朐山。
朐山地处海滨，与青冀两州的治所郁洲（今江苏连云港）隔海相望（南梁的时候，郁洲是海中的一个小岛，不与大陆相连），是南梁北上进兵的前沿阵地，不容有失。而这个小镇对于北魏的意义则没有那么大，它并不位于北魏南下的主干线上，离南梁其他的战略要地也不近，一时花大力气守住了，也不可能以此为据点，向南推进。守朐山，根本是赔钱的买卖，性价比太低。
这一观点，是御史中尉游肇等人所认同的，宣武帝却想不到。统领大军的卢昶，是北方名门之后，与高允同时代的卢玄之子，读书好，学问大，指挥作战一窍不通。他的大军没有办法进入朐山参加防御，也不能对攻城的马仙琕构成威胁，甚至连粮草都无法运入城。
十二月，守朐山的傅文骥弹尽粮绝，向马仙琕献城投降。之前没有一点表示的卢昶见朐山丢了，骑上马就跑，十万魏军跟着溃散。淮北普降大雪，从朐山到郯城的路上，遍地都是冻死的、冻坏手脚的北魏士兵，加上马仙琕所率梁军乘势砍杀和俘虏的，魏军损失八成以上。
朐山失利是钟离之后北魏军事上最大的惨败，两大失败都发生在宣武帝时期，令他戴上了“外战外行”的帽子，并不是偶然的（如果说高肇专权是北魏衰败的内部标志，那么钟离、朐山的惨败则可以说是北魏衰败的外部标志）。
南方的梁武帝受到胜利的鼓舞，三年后（梁天监十三年，北魏延昌三年，公元514年）在降将王足的怂恿下，开始在淮水下游的浮山（今安徽五河一带）修筑拦淮大堰，想要水灌寿阳，除掉这个心头之患。虽说中国古代水利一向在世界上名列前茅，梁武帝还是太异想天开了，完全超出了当时的技术条件。浮山堰工程上马后，经过近两年耗人、耗力、耗钱、耗时的“艰苦奋斗”，终于建成，总长九里，高二十丈（相当于三十多米，是当时全世界最高的坝，可那年头也没有吉尼斯世界纪录可以申报呀），一时间令寿阳守军颇为紧张。然而就在建成当年的秋天，洪水泛滥，大堰坍塌，寿阳城没淹没，反倒将下游数百里的村落冲入海中。梁武帝施计不成，险些自费武功，只好暂时放弃北进的计划。
北魏延昌三年（公元514年），仿佛如梦初醒的宣武帝终于觉得先攻西线更有把握。他命高肇为大将军、平蜀大都督，率领步骑兵十五万攻打益州。大军出动两个月后，延昌四年的正月，宣武帝病故，享年三十三岁，与其父孝文帝寿命相同，作为却相差甚远。他生前的最后一次用兵，也就作罢。此后，北魏再没有力量发动大规模征讨南方的战争，直至灭亡。南北两国勉强恢复了短期的和平。
出征在外的高肇接到征召，听说皇帝驾崩，如丧考妣（这也难免，没有宣武帝，又岂能有他高肇的今天？）。
他不敢怠慢，日夜兼程地赶回洛阳，上殿哭丧。朝中的官员们恨不得剔其骨、食其肉。高阳王元雍与宫中的领军于忠早就商量好，在西面侧廊设下埋伏，等高肇声泪俱下地哭完灵，来到侧廊休息，武士们一拥而上，把他乱棒打死。
不得好死的高肇倒台前，宣武帝的太子元诩已经即位，是为北魏肃宗孝明帝。元诩只有六岁，在他的背后，北魏政坛成为争夺权力的角斗场，拓跋珪开创的北魏帝国，只剩苟延残喘的份了。