王竞修名誉，广结交游，门下客多约数百，少亦数十人。
王莽从兄王仁之子王磐，自王莽被灭后，幸得免祸，家富如故，平时雅尚气节，爱士好施，着名江淮间。旋因游寓京师，与士大夫往来，名誉益盛，列侯公卿，喜与接谈，就是诸王邸中，亦常见王磐足迹。故伏波将军马援，有一侄女，嫁王磐为妻。马援却不甚爱王磐，且闻他出入藩邸，愈为王磐忧，曾与姊子曹训道：“王氏已为废族，为子石计，（磐字子石）。理应屏居自守，乃反在京浪游，妄求声誉，我恐他不免遭殃呢！”
已而复闻王磐之子王肃来往北宫，及王侯邸第，乃复语司马吕种道：“国家诸子并壮，不与立防，听令交通宾客，将来必起大狱！卿等须预先戒慎，免得株连！”观人不可谓不审，料事不可谓不明。吕种似信非信，总道诸王势大，可以无虞，因此将马援言撇诸脑后，也在藩邸中奔走伺候，曲献殷勤。哪知郭氏殁后，便有人诣阙上书，说是王肃父子，漏网余生，反得为王侯宾客，终恐因事生乱，亟宜加防。光武帝览书生愤，便饬郡县搜捕王肃父子，并及诸王宾佐，辗转牵引，系狱至千余人。吕种亦遭连坐，不禁悔叹道：“马将军真神人呢！”但祸已临头，嗟亦无及，就使没有甚么大罪，到此已玉石不分，无从辩诉。冤冤相凑，又出了一种杀人的巨案。
从前刘玄败没，光武帝曾封刘玄之子刘鲤为寿光侯。刘玄之子刘鲤记念父仇，迁怨于刘盆子兄弟，因将刘盆子之兄故式侯刘恭，乘间刺死。刘鲤与沛王辅友善，案情且连及沛王。故刘鲤坐罪下狱，沛王亦一同被系。
光武帝刘秀恨上加恨，遂将王肃父子，并诸王宾客，相率处死。沛王系狱三日，经王侯等力为救请，才得释出，乃一并遣令归国，不得仍留京师。诸王奉诏，不得不入朝辞行，分道去讫。
皇太子刘庄，春秋渐高，留居东宫，光武帝刘秀欲为选师傅，辅导储君，因此向群臣咨问，令他各举所知，太子刘庄之舅阴识，已受封原鹿侯，官拜执金吾，群臣俱上言太子师傅，莫如阴侯。独博士张佚进说道：“今陛下册立太子，究竟为天下起见呢？还是为阴氏起见呢？为阴氏起见，阴侯原可为太子师傅；若为天下起见，应该选用天下贤才，不宜专用私亲！”
光武帝刘秀听了张佚所言，点头称善，且顾语张佚道：“欲为太子置师傅，正欲储养君德，为天下计；今博士且能正朕，况太子呢？”
当下拜张佚为太子太傅，张佚直任不辞，受职而退。还有太子少傅一职位有缺，另外选任博士桓荣，各赐辎车乘马等物。
桓荣沛郡人，资望比张佚为优，桓荣是齐桓公的后代，以齐桓公的“桓”为氏，其祖先迁居龙亢县，到桓荣这里已有六代。桓荣少年时在长安学习《欧阳尚书》，拜九江郡人朱普为师，他家中贫困，常靠佣工养活自己，精力不倦，十五年没有回家探视，到权臣王莽篡位时才回去。恰逢朱普去世，桓荣到九江郡奔丧，自己背着土为老师筑坟，于是留下来教学，徒众达几百人。
地皇四年（23年），新莽灭亡，当时天下大乱，桓荣抱着经书与学生一道逃入山谷之中，虽然常饥饿，但讲经论卷不止，后来又在江淮一带教学。
建武十九年（43年），已经六十多岁的桓荣终于得到大司徒府的征辟。当时东海王刘庄刚被立为太子，光武帝刘秀选求通晓经籍之人，于是提升桓荣的学生豫章人何汤任虎贲中郎将，用《尚书》教太子。刘秀从容问何汤的老师是谁，何汤答道：“沛国桓荣。”光武帝刘秀即召桓荣，命他讲解《尚书》，光武帝刘秀觉得桓荣说的很好。便授任桓荣为议郎，赐钱十万，让他入宫教太子。每到朝会时，常让桓荣在公卿面前讲解经书。
光武帝刘秀称赞道：“得到先生太晚了！”恰逢《欧阳尚书》博士出缺，光武帝刘秀想任用桓荣。
桓荣叩头辞让道：“臣经术浅薄