士万安和刘翊也不是什么好货色，上梁不正下梁歪。所以当时的人们谓朝廷为“纸糊三阁老，泥塑六尚书” 。
刘吉的脸皮厚到什么地步呢？
但凡稍微有点自尊心的人，被人骂了要么还嘴，要么羞惭引退，而刘吉不同，他死死霸占着官位不放。宁死也不辞，言官骂他已是家常便饭，他早已视之为浮云，弘治五年的时候，终于弘治帝也开始瞧他不顺眼了，于是派了内宦去他家里，暗示他好几次是不是该致仕告老之类的含蓄话，刘吉这朵奇葩揣着明白装糊涂，死活听不懂内宦弦歌之外的雅意，接连几次打发内宦悻悻而归。
面对这位脸皮厚到如此地步的首辅，弘治帝痛定思痛，决定不再跟他玩虚的，干脆命太监怀恩亲自到刘吉家里，指着他的鼻子直接了当地告诉他，陛下瞧你不顺眼了，想寿终正寝的话你还是乖乖上奏致仕吧，不然后果很严重，刘吉呆了好久，这才一副比死了亲爹更悲痛的表情，依依不舍地上了奏本告老。
一般对告老奏本的处理，皇帝都要三请三留，给足了面子再加个衔号，最后才貌似不舍地批准，唯独对刘吉的告老奏本特事特办，弘治帝生怕刘吉反悔似的，怀恩十万火急的把奏本送进宫，弘治帝星夜披衣而起，笔走龙蛇，二话不说便准了。一君一臣赶时间赶得如此匆忙，朝中一时谓为美谈。
弘治五年致仕，刘吉再也没被起用过，然而毕竟刘吉在朝堂混了一辈子，而且当过礼部尚书甚至内阁首辅，门生故吏可谓满天下，党羽多如繁星，如今的刘谢李三位大学士见了刘吉，都不得不拱手为礼，以前辈称之……一位曾经风光无限，位极人臣的大学士，一位是身陷囹圄，罢官免职的锦衣千户，秦堪想破脑袋都不认为他和刘吉之间会有什么交集，可事实是，现在刘吉正站在牢门外，一脸从容微笑的看着他。
秦堪只好拱拱手：“原来是刘阁老，下官……不，现在我已是草民了，草民见过阁老。”
刘吉哈哈笑了一声，朝过道尽头摆了摆手，一名家仆提着食盒走到面前，打开食盒，里面满是丰盛的酒菜。
刘吉朝秦堪做了个“请”的动作，然后也不嫌脏，自顾盘腿坐在过道上。秦堪也学着他的样子坐在牢门内，二人隔着牢房的铁栅栏一内一外相对盘腿而坐。