潭王以后，孤峙于长沙城内的藩王府陈冷落凄凉，度过了十二个春秋。永乐元年，又有谷王朱封到长沙，成了王府的主人。朱封为太祖朱元璋第十九子，洪武年间就藩宣府，因宣府为古上谷地，故称谷王。他以打开南京金川城门、投靠燕王朱棣有功，被徙封长沙。朱封为人奸险凶毒，在长沙时更是专横跋扈，不可一世。
永乐初，原户部尚书、忠诚伯茹瑺回归衡山故里，因过长沙时未能到王府拜调，他竟上奏朱棣，陷之以罪。茹瑺因此下狱，饮药自尽。
茹瑺是湖广衡山藻江人，少年即有大志，聪颖好学。唐诗宋词过目不忘，六岁能背千家诗，十岁已熟读《大学》《中庸》，十六岁时就由贡生选拔进入国子监学习。入太学，伴读当朝太子，皇亲国戚，王孙亲王。国子监是我国封建时代的教育管理机构和最高学府，又叫国学、国子学，明代国子监的学生有各种来路，大致有贡监、举监、荫监和例监的区别。茹瑺大概属于贡监，是由地方府、州、县儒学按计划选送的优秀学生，茹瑺十六岁即获此资格，可见他的成绩优秀。
洪武三十三年，茹瑺拜右副都御史、又代理兵部尚书，不久任为正职。三十五年加封太子少保。明惠帝即位之后，茹瑺改任吏部尚书。因为和太常卿黄子澄政见不合，被派到河南出任布政使。不久以后，仍被诏还任兵部尚书。
太祖朱元璋六十五岁时，皇太子没有等到继位就先太祖死去了。太祖很伤心。按照封建规矩，他没有立其他儿子为太子，而是立十六岁的长孙朱允炆为太子。这位太子秉性非常善良，太祖非常担心他能否担当天下的重任。太祖驾崩后，皇太孙允炆继位，是为建文皇帝，也就是明惠帝。柔弱的惠帝主政时面临的是外部的强藩，应该说是危机四伏。在辅臣的建议下，为了巩固中央政权，对藩王们采取了措施。有的去其藩号，有的废为庶人，有的终身幽禁，有的被赐死。虽然曾一度装疯卖傻的燕王朱棣从外表上看起来没有谋反的心，但他真实的野心还是传到了建文帝的耳朵里。于是他命令北平府的守臣去逮捕朱棣。但令建文帝没有想到的是那守臣竟暗中向燕王通报了情况，并投靠了燕王。这样，本来就想当皇帝的朱棣就有了理由向朝庭发兵，说是朝中有奸臣当权，他要除奸平逆，扶助君王。还把他的军队叫“靖难军”。
燕王朱棣兵至龙潭，惠帝派遣茹瑺以及曹国公李景隆、都督同知王佐传诣燕军议和。茹瑺等一看见成祖朱棣，伏地流汗，一句话也说不出来。成祖说：“公等言即言耳，何惧至是。”过了很久，茹瑺等人才将皇帝割地议和的想法说出来。成祖笑着说：“我无罪而被废为庶人，现在是起来救死，并不是为了土地。而且皇考分封诸子时，已经都各有分地了。你们去将奸臣绑来，我就马上解甲拜谒孝陵，然后回到封地北平。”
燕王进入金陵后，把瑺茹叫了过去，询问定国安邦的大计。茹瑺首先建议燕王继统大位，以安定天下，燕王接受了。成祖即位后，下诏说李景隆、茹瑺、王佐和陈碹侍奉太祖很忠诚，功劳很重。封茹瑺为忠诚伯，食禄一千石，终其一生不改，仍任兵部尚书、太子少保，选他儿子茹鉴为秦府长安郡主仪宾，即命茹瑺出去营建郡主府第。回朝后，茹瑺首先因犯不送赵王罪，被遣回家乡。随后他被家人投诉，逮到京师，后被放回。经过长沙时他不拜谒谷王，谷王向皇上提到这事。当时正重藩王之礼，谷王又因打开金川门有功，皇上心里向着他。陈瑛便弹劾茹瑺违背祖制，茹瑺因此被逮人锦衣卫监狱。茹瑺悲愤交加，知道罪不可免，叫儿子茹铨在市场上买来毒药，吃下去而死。当时是永乐七年，法司弹劾茹铨毒害他的父亲，请以谋杀父母之律给他定罪。后来因为茹铨实是承父亲之命，便减去死罪，将他和兄弟家属共二十七人贬到广西河池戍守。仁宗即位后，他