西晋至南朝末年，会稽郡仅辖今绍兴、宁波一带。东晋名士们不太喜好当官，谢安和王羲之都属于这类人，他们的兴趣不在庙堂，更在于山水。在四十一岁前，谢安基本没做过官，隐居在会稽东山，整天跟王羲之、许询等一群朋友在游山玩水，兴致高时还坐上船出海玩耍。著名的书法作品《兰亭序》，就是在这期间，王羲之、谢安等一群朋友，在会稽山阴的兰亭办派对时，王羲之挥笔写就的。谢安、王羲之敢这么作，年届不惑还整天游山玩水不思养家，是因为他们背后都有一个超级强大的家族作为后盾，那就是建康乌衣巷的王谢家族。会稽（今绍兴）是王谢家族的大后方，家族子弟还有很多重要成员，都在会稽。身为王谢家族重要成员的谢安、王羲之，按照当时的九品中正制，他们从一出生就意味着有官做，根本没有养家糊口的压力。如果没有谢万的自大轻敌，谢安这一生或许都会在会稽山水间度过，此前他已经多次拒绝了朝廷让他当官的要求。生平三年（359年），谢安的弟弟谢万领兵北伐前燕，由于他不能与士卒同甘共苦引起兵变，加上他误判敌情，导致打败，最后只身一人逃了回来。要不是他身后有个强大的家族，早就被砍头了。即便如此，谢万也被贬为庶人。谢万被贬，陈郡谢氏在朝廷的权势出现了大漏洞，受到其他家族的威胁，谢安不得不走出东山来补这个窟窿。先是给当时的权臣桓温做幕僚，后来逐步做太守、侍中、吏部尚书，最后做到了司徒、太傅，都督扬、豫、徐、兖、青五州及幽州的燕国诸军事，并假节。东山在上虞上浦镇境内，南距上虞城区13公里，水陆皆通。东山，又名谢安山。据《上虞县志》记载，东晋名士谢安41岁前长期隐居此山。东晋升平四年(360) ，谢安离开东山从政，成为著名政治家，成语“东山再起”即出于此。唐宋诗人李白、贺知章、刘长卿、方平、苏东坡、陆游等，都曾盘桓其间，留下了不少著名的诗篇。东山有一巨石悬伸江中，江边有谢安钓鱼台及谢安墓，为市级文物保护单位。