后只得由表弟卢遵代为。那天，天昏云暗，在湘之滨，运灵..的船慢慢离岸，柳宗元涕泪如雨的跪地目送灵舟远去，几乎哭晕过去。三年后，柳宗元搬出龙兴寺，迁至法华寺（今名高山寺乃永州东山最高处）。却不料搬来不到三年，他的独生女儿和娘又染病身亡。
双重的打击，失去亲人的痛苦，使正值年富力强，风华正茂的他染上痞病，人不食自饱，却一天天的消瘦，那段时间他走路双腿发抖，坐着双脚发麻，人显得特别虚弱，听人大声说话，人都心惊肉跳。好在长安的亲友给他捎来药物，自己也研究医药，他一边治病，一边修养。在这期间他出资在法华寺的最高处修建了西亭。一为信徒来寺庙有一休息之处，二为友人来访有僻静之所，随着时间的推移，他不再担心自己和王叔文一样被朝廷处死。最近一年，朝廷对八司马的态度似乎有所改变。程异被重新启用，升为侍御史，“有诏以韩哗及刘禹锡等为远州刺史。”柳宗元被诏补为袁州刺史，由于武元衡及谏言官参本加上宦官等人的反对，诏令没有实行，但却给他带来了新的希望。今年上半年他身体有所好转，虽头上增添了几缕白发，但身心两方面都好了起来吗，加上吴武凌等友人的安慰，柳宗元心境更宽阔了。
元和四年（809年），柳宗元与友人一道在东山西亭里遥望莽莽苍苍的西山，九月的天空，秋高气爽，风轻云淡。西山的怪异景象吸引了他的目光，激发了他的游兴，于是.....
一声吆喝声打断了柳宗元的沉思，他回过神来一看，原来是船要到岸了，随着艄公的喊叫声；“到岸了，站稳了。”船稳稳的停靠在岸边，正当柳宗元一行人上了河滩到了路口确定好上山的方向正要想西山前行时。突然，从前面石板路上传来一阵阵重重的脚步声，紧接着传来；：“刘大叔，等等我，我要过河。”分明是年轻人的叫喊声，一行人不觉的都抬起头向声音传来的方向看去，一会儿，那年轻人越过众人向河滩下去时，那年轻人突然回过头来看了柳宗元他们一眼，就在这一对视的一瞬间，柳宗元只觉得这年轻人很眼熟，一时间记不起在哪里见过，等他下了河滩后，柳宗元笑着对众人道：“看这孩子急得，难道比我们上西山还急？”众人都笑了起来。柳宗元又道；：“这年轻人看上去很有精神又很眼熟，不知他因为何事这样匆忙过河。”有人道；“司马大人，零陵就是这么大，你来这里任职快四年了，难免有眼熟之人，看这年轻人是习武之人，或许还是一个猎人，说不定您还从他手里买过猎物呢。”有人附和道；“是啊，这事有可能啊。”柳宗元又对众人笑道；“这个年轻人可是我等到河西第一个遇到之人，也算与我等有缘，不知他这么匆忙去哪里，看他身背一个包袱像是出远门。他定是这西山附近的百姓，不知以后还会不会见面，到时只怕他不认得我这个闲司马了。”话一说完，众人都大笑起来。
柳宗元口中的这个年轻人叫楚小龙，他祖居河西冉溪，他这次匆忙而去是要过河赶往衡阳昌南镖局去当镖师。因柳宗元的到来改变了这一切，也改变了他一生的命运，让这个普通的零陵人与柳宗元结下了一段鲜为人知的师生情，在楚小龙今后的人生里，柳宗元成了改变他命运的引路人。
柳宗元一行人朝西山前行，他们游玩到日落西山时才回到城里。当晚，在法华寺，柳宗元虽辛苦，但他们兴奋不已，很晚才睡下。第二天就写下了《始得西山宴游记》；“自从我成为受嘀贬的罪人，，住到这偏远的永州，常常感到忧惧不安，闲暇时，就缓缓而行，随意游玩，天天和同伴上高山入深林，甚至沿着曲折的溪涧一直追寻到它的尽头，清幽的泉水，怪异的石山，无论多远，没有我们不到的地方。每到一个地方，我们就拔草而坐，倾壶畅饮，一醉方休，醉后便相枕而卧，睡后便入梦乡，心有所想，梦中也就