建武十三年（公元37年）春，刘秀趁沐休之日携阴丽华母子外出打猎，车驾夜里返回，至上东门，上东门侯乃是汝南人郅恽，郅恽拒绝开门。刘秀命万福海从门缝间与郅恽见面，郅恽说：“火明辽远，看不清。”遂再予以拒之。
刘秀当时颇是不悦，欲当场处置郅恽，阴丽华却劝道：“上东门侯亦是尽职尽责罢了，非刻意为之。京畿重地，本该严加防范，万分谨慎，倘若居心叵测之人冒天子之讳轻易进至城中而行不轨之事，如此，上东门侯便是罪该万死。”
刘秀一想，正是此理，只好返回，从东中门进城。可是，东中门侯一听是刘秀，又见了万福海，二话不说便打开城门，迎其入内。
第二日，郅恽为此上书规劝说：“昔文王不敢于游田，以万民惟正之供。而陛下远猎山林，夜以继昼，其如社稷宗庙何！”
奏章呈上后，刘秀赏赐郅恽一百匹布，贬逐东中门候当参封县尉。
二月，朱佑奏曰：“古者人臣受封，非直系族人，不加王爵。”
二十七日，刘秀下诏，长沙王刘兴、真定王刘得、河间王刘邵、中山王刘茂，都降爵为侯。丁巳（二十八日），改封赵王刘良为赵公，太原王刘章为齐公，鲁王刘兴为鲁公。这时，刘氏皇族以及原封国撤销而由后世继承爵位的，共一百三十七人。富平侯张纯，是张安世的四世孙，曾经历王莽时代，因敦厚谨慎守法而能保全爵位。建武初年，张纯先来归附，照旧为侯。随后以绍嘉公孔安为宋公，承休公姬常为卫公。
三月十二日，刘秀任命沛郡太守韩歆当大司徒。十七日，代理大司空职务的马成又担任杨武将军。
这时，吴汉从蜀地整军返回，到达宛城。刘秀下诏，准许他到家乡祭祀祖坟，赐谷二万斛。夏季，四月，吴汉回到洛阳。
自王莽地皇三年(公元22年)十月，刘演、刘秀起兵舂陵，与新市、平林会师，从那时起，直至建武十三年(公元37年)四月，大司马吴汉自蜀郡还师为止，前后十几年的岁月，刘秀戎马倥偬，久在兵间，厌心武事，且知战乱灾荒，天下疲耗，益欲与民生养歇息。于是，大飨将士，班策书勋。功臣增邑更封三百六十五人，外戚恩泽受封四十五人。罢左右将军官，收大将军耿弇印绶。二十二岁的耿弇在刘秀即位之初被拜为建威大将军，近10年时间，平郡四十六，攻城三百，未尝受过挫折。罢免耿弇的大将军职，以列侯身份就第奉朝请，陇蜀悉平，除了对交趾、南蛮等地用兵外，非遇急警，刘秀不谈兵事，刘秀偃武思文的志向由此可见端倪。
这时皇太子刘强，年已十三岁，常在帝侧，有时问及攻战方略，刘秀正色道:“从前卫灵公问战阵，孔子不对答，此事非你所宜问。”邓禹、贾复由此知道刘秀决定放下武器，用礼乐教化进行统治，不愿功臣们身在洛阳而拥有重兵，于是二人交出军权，潜心研究儒家经典。刘秀也考虑到功臣们今后的去向，想保全他们的爵位和封地，不让他们因为职务而有过失，便让他们以侯爵的身份离开朝廷，回到自己的宅第，随后被加以特进之衔，定期参加朝会。
邓禹性格敦厚，如今已有十三个儿子，让他们各自研习一种技能。他治家的严谨，对子孙的教育，都可以作为后世效法的榜样。家里的开支取自封地的收入，不从其他产业营利。
贾复刚毅正直，有大节。回到宅第以后，关起门来修身养性。朱祜等举荐贾复，认为他适宜做宰相，而刘秀正责成三公整顿官吏制度，所以一律不任用功臣。这时，侯爵中只有高密侯邓禹、固始侯李通、胶东侯贾复三人和三公九卿一起议论国家大事，恩宠特别深厚。
刘秀虽然控制功臣，但往往能维护包容他们，原谅他们的小过失。远方进贡珍