时隔多年，刘炟依然记得自己的母后当初极力反对自己赐封马氏兄弟的事情。在刘炟的记忆中，马氏一辈子有两件事最让他记忆深刻。马太后拒绝封赏马家算是一件，而另一件，就非当初马氏力挽狂澜、临危受命，在先帝刘庄归天之后，排除万难，最终将自己扶持上帝位。
因此，无论从哪个层面而言，刘炟对于马氏，没有一丝对和自己亲生母亲骨肉分离的怨恨，有的只是感激。
刘炟爱名声重于性命，这已经不是什么隐秘的事情。但是他对于马氏的孝顺，也一点没有作伪。所以时至今日，无论马家有什么过错，只要不是十恶不赦之罪，刘炟都能一手盖过。
可惜，马氏家族却一点也不自知，要知道马太后已经离世，如今自己得以和窦家平分秋色，大多是依靠了马氏的余荫。马氏兄弟如果不能做好自我防范，终有一天，会在这风起云涌的皇朝权力争夺中，承受滔天大祸的恶果。
人的忍耐是有限度的，何况是手握生杀大权的皇帝刘炟呢？再加上有心人如窦氏的从中挑唆，马太后的担心终究会变成现实，只是她没有料到，这一天会来得这么迅速。
建初八年（公元83年）十二月，经过查证，廷尉在上奏给刘炟的奏章中称道：“马防、马光奢侈无度，僭乱礼教，理应严惩。马豫飞书怨谤朝廷，也应同罪！”并将马防和马光二兄弟一起弹劾。
马豫又如何会诽谤朝廷呢？
原来，马太后在世之时，曾将马家的掌家大权交到略有些作为和见识的马廖手中，并且马氏一门都回到了自己的老家。但是自马防征讨西凉回来以后，侍功自傲，并且他又被朝廷封侯，自己的另一位兄弟马光就不再买马廖的账了。大树底下好乘凉，如今马防得势，马光一个小人，又岂能放过这个机会。正所谓“盛极必衰，物极必反”，马防和马光见自己得到皇帝刘炟的信任，对家人和自己的约束就越加松弛，等到马太后死去，他二人更加肆无忌惮。
窦家在窦皇后和沘阳公主的联手策划之下，连续斗垮了宋氏家族和梁氏家族，现在朝野虽大，却也只有马家还能勉强和窦家比肩。马家兄弟素来就没什么见识，看着宫内局势变动到如今这个地步，不忧反喜。认为自己的两大竞争对手，就这样被窦家整垮了，此后朝中，也就只剩下窦家一门可以和马家相提并论了。他们并没有意识到，一山不容二虎，窦家怎么能够容忍马家和自己家族分权呢？
这时候的马家兄弟，依然我行我素，心怀不轨者当然是暗自窃喜，心怀仁义者则是为其担忧。杨终便是一个衷心为友的人，他素来与马廖交情匪浅，见马家兄弟如此作为，只能写书信给马廖，希望他能够约束自己的两个弟兄，免得招致无妄之灾。可惜马廖回信说，二人此刻正是日中天，怎能听自己的劝解，无奈之下，此事也只能就此作罢。
朝中有人好做官，朝中无人寸步难。窦家趁着马家兄弟在朝无人，并且马氏兄弟无能的机会，悍然决定，抓住机会，将自己的最后一个劲敌整垮，如此，窦家便能一手遮天。
建初八年（公元83年）冬，刘炟外出巡视陈留、梁国、淮阳、颍阳四郡国，窦皇后见有此良机，急忙授意窦宪兄弟联络朝中的官员，大肆给马家兄弟罗织罪名。不久，刘炟回京，有司官员便不失时机地呈上了弹劾马家兄弟的奏章。奏章中提到，马氏兄弟近年来不断地搜刮民脂民膏，富可敌国，奢侈无度，连门下的食客就有数百之多。不仅如此，他们还大肆建造宅第，栋宇连云。将军马防为皇帝执掌军权，不思报国不说，还屡屡违反朝廷禁令，私自贩卖军马、征收赋税。如此胆大妄为，理应严惩！
其实说道穷奢极欲，当今天下，除了皇帝陛下之外，天子之臣，有几人能够比得上窦家。而且窦家的名声也不好，何以他们就能没事呢？这是因为，一来，如今的朝廷，已经没有任何一个家族敢于和窦家作对了。窦皇后深受皇帝宠爱，鸡犬升天之下，窦氏一门自然炙手可热。二来，朝廷之人，多为趋炎附势之辈，为了明哲保身，即使是刚正不阿之人，也只能暂时忍气吞声，以免造成不必要的牺牲。而那些墙头草们，则是趁此机会，好好地向皇后表忠心，如此，才能保证自己的前途一片光明。
正所谓“锦上添花易，雪中送炭难”，个人交往尚且如此，又何况国家政治呢？马家兄弟到也怨不得别人，谁让他们不知自律呢。如今满朝文武，大多在指责他们的罪过。刘炟是最为依仗他们的，如此一来，不就等于百官在骂自己有眼无珠吗？
帝王就是这样，知错改错，但绝对不会认错。因此，这罪名就只能让马家兄弟承担了。刘炟一纸诏令，将马家财产变卖，马家食客遣散，对马家进行严惩。时任步兵校尉的马廖之子马豫，本来就是个火暴脾气，见当下的舆论如此不利于马家，窦家作威作福，却得不到一点惩处，心中不服，便命人四处“飞书”，严正批评窦家不说，还将朝中官员骂了个遍，认为他们是因为太后不在，才来专门欺负他们马家。
以事实而论，的确和马豫所说一样，群臣百官都是柿子拣软的捏。但他这样明着说出来就不对了，不但得罪了百官、直接树敌于窦家，还为窦家的进一步行动提供了说辞。于是便有了“飞书诽谤朝廷”一说，这在当时可是大罪。刘炟大怒之下，撤了自己三个舅舅的职位，还将马豫下狱，酷刑致死。
不见棺材不落泪，如今马家终于意识到自己的错误，明白了当年马氏太后的苦心；也见识到窦家的厉害以及现实变迁的残酷，幸好皇帝比较仁慈，念及自己和舅舅们的亲情，这才没有深入追究马家的罪行。自此，马家只留下马廖、马光二人留任京师，昔日的世家大族，元气大损之下，只能徐图东山再起。