，名士桓彝见到他，大为赞赏，说：“这孩子风采神态清秀明达，将来不会比王东海（即东晋初年的名士王承）差。”他在童年时，便神态沉着，思维敏捷，风度条畅，工于行书。
谢安少年时，得到名士王蒙及宰相王导的器重，已在上层社会中享有较高的声誉。
少年时的谢安曾拜访名士王蒙，与王蒙清谈多时，他离去后，王蒙之子王修问道：“刚才谈话的客人是什么样的大人物？”王蒙说：“这位客人勤勉不倦，日后定将咄咄逼人。”
然而谢安并不想凭借出身、名望去猎取高官厚禄。朝廷最初征召谢安入司徒府，授任他佐着作郎之职，都被谢安以有病为借口推辞了。
后来，拒绝应召的谢安干脆隐居到会稽郡的东山，与王羲之、许询、支道林等名士、名僧频繁交游，出门便捕鱼打猎，回屋就吟诗作文，就是不愿当官。当时的扬州刺史庾冰仰慕谢安的名声，几次三番地命郡县官吏督促逼迫，谢安不得已，勉强赴召。仅隔一个多月，他又辞职回到了会稽。后来，朝廷又征召他为尚书郎、琅玡王友，谢安一概推辞。吏部尚书范汪举荐谢安为吏部郎，也被他写信拒绝。有关官员上疏认为谢安被朝廷征召，历年不应，应该禁锢终身，谢安便放浪于东部的名胜之地。
谢安曾到临安山，坐在石洞里，面对深谷，悠然叹道：“此般情致与伯夷有何区别！”又曾与名士孙绰等人泛舟大海，风起浪涌，众人十分惊恐，谢安却吟啸自若。船夫因为谢安高兴，照旧驾船漫游。风浪转大，谢安慢慢说：“如此大风我们将如何返回呢？”船夫听从吩咐立即驾船返航。众人无不钦佩谢安宽宏镇定的气度。谢安虽然纵情于山水，但每次游赏，总是携带歌女同行。
谢安虽然屡屡不愿出山，但当时执政的会稽王司马昱说：“安石既然能与人同乐，也必定能与人同忧，再征召他，他肯定会应召。”
安石就是谢安的小字。
当时，谢安的弟弟谢万任西中郎将、豫州刺史，担负守边的重任。谢安虽然隐遁山林，但其名声超过了谢万，有任宰辅的声望。他平素常常用礼节来教导子弟。
谢安之妻刘氏，为丹阳尹刘惔之妹，见伯叔多半富贵，独谢安隐居不仕，常语安道：“大丈夫当不若是呢。”妇人终难免势利。
谢安掩鼻道：“卿所见未能免俗，岂丈夫定要富贵么？”及谢万已然褫职，门第减色。
谢安年已四十余，免不得顾虑家门，转思仕进。君亦未能免俗了。
可巧征西大将军桓温，上表奏请朝廷征辟谢安为征西司马，朝旨立即召传谢安。谢安便来到都中。自新亭启行，朝士多往饯送，中丞高崧戏语道：“卿累违朝旨，高卧东山，诸人互相私议，谓安石不出，如苍生何？苍生今亦将如卿何？”说毕大笑。
谢安被他一嘲笑，也不禁惭愧起来，勉强支吾，终席即去。
谢安既到江陵，与桓温相见，谈笑竟日，甚惬桓温心意。及谢安趋出，桓温问左右道：“汝等曾见有如此佳客否？”嗣桓温有事访谢安，至谢安居室，谢安适早起理发，久不出见。
桓温在外坐待，始闻室内有人传呼，令人取帻。桓温即朗声道：“不必，不必，请司马即戴便帽，就好相见了。”
谢安依言面见桓温，坦然与语，取决如流。桓温满意乃去。晋朝廷复起用谢万为散骑常侍，谢万受职未久，便即病死。
谢安本不欲随桓温，无非借桓温干进，暂作过渡思想。及谢万已经去世，遂假弟丧为名，投笺求归。
桓温准令谢安返家治丧，谢安此后不复到桓温之处。寻由朝廷授为吴兴太守，便一麾赴郡去了。
升平五年五月，晋穆帝有疾，数日即逝，年仅十有九岁，在位十七年，帝尚无子，当由会稽王司马昱等，入宫禀告褚太后，请迎晋成帝之长子琅琊王司马丕嗣位，褚太后依议施行，因即下令道：