事实上，谢安知道，自己出仕是为了整个家族利益，但目前由于几位家族兄弟还能撑住谢家的场面，所以他也就乐得自在，仍旧屡次拒绝朝廷的征召。有时候，你越装谦虚，别人越认为你是神人，所以当时有人感慨地说：“安石（谢安字安石）不肯出，天下百姓可怎么办呢？”当然，同样的话也被用来吹捧过殷浩，只不过咱们这位殷中军有负天下苍生的期盼，出山之后用自己一系列愚蠢的行为，树立了一个反面典型。
不过凡事也得讲究一个度，过犹不及，谢安的行为有多少人捧，就有多少人踩。有人认为谢安无视朝廷，因而多次上书弹劾于他，并要求朝廷对他施加禁锢，限制活动自由。对于外界人们的评价，这从来就不是谢安所在意的，否则他也不会长年累月地隐居了。在这方面，桓温真得好好学学谢安，他就是太注重草民对他的看法，以至于做大事时总是犹豫不决、无法释然。
可是，当谢安弟弟谢万兵败被废为庶民的消息传来时，谢安明白，如果自己再不出山，那么陈郡谢氏的政治使命便宣告终结了。为了保持家族地位，也为了舒展胸中的抱负，谢安正式决定步入仕途。不久后，谢安受桓温之邀，担任征西大将军府的司马。然而，虽然桓温对待这位谢东山礼遇有加，不下于王猛，郗超，可谢安最终还是离开了桓温。理由则是说谢安无意间发现桓温找人推算晋朝国运，痛恨桓温的不臣之心，所以离去。