贺知章晚年在朝堂之上所受到的尊崇极高，唐玄宗和太子都对他礼遇备至。但是随着天宝年间的到来，政治正在悄悄发生着变化，年过八十的贺知章也不愿意再在朝堂敷衍，便请求告老还乡，入道归隐。“既行，帝赐诗，皇太子百官饯送。擢其子曾子为会稽郡司马，赐绯鱼，使侍养，幼子亦听为道士。卒，年八十六”。这样盛大的送别场面和关怀入微的安排并不是人人都能享有，唐玄宗的深情厚谊让贺知章的内心十分感激，他特意上奏玄宗，感谢朝廷对他的盛情。玄宗又亲自写下回诏，说：“卿儒才旧业，德著老成，方欲乞言，以光东序，而乃高蹈世表，归心妙门，虽雅意难违，良深耿叹。眷言离祖，是用赠诗，宜保松乔，慎行李也。儿子等常所执经，故令亲别，尊师之义，何以谢焉。”其中不但表达了唐玄宗对贺知章一生劳苦功高的夸赞，对他告老还乡、不能继续在朝廷任职的遗憾，还希望能让贺知章的儿子全忠孝两端，最后又称贺知章为“尊师”，可见玄宗对他的赏识。

　　在送别贺知章时，唐玄宗写下送别诗：

　　遗荣期入道，辞老竟抽簪。

　　岂不惜贤达，其如高尚心。

　　寰中得秘要，方外散幽襟。

　　独有青门饯，群僚怅别深。

　　据记载，当时大约有30人为贺知章写下了送行之作，这除了说明贺知章的晚年极受尊荣以外，也展现了当时宫廷唱和的盛况。

　　百官饯行的仪式结束以后，贺知章颤巍巍地向皇太子和诸位同僚作揖拜别，车轮滚滚，踏上回乡的归途。从考中进士到辞官还乡，贺知章走过了50年的官宦生涯。他经历过数次血腥和残酷的宫廷争斗，目睹过自己的朋友在青云之上的烈火烹油，也亲历过他们被贬黜、打压的惨象。他从未真正地接触过国家的权力中心，因此在皇位和朝臣的更迭中能够不受波及，也因此只能算是政治浪潮中一个可有可无的小人物。然而，对于贺知章本人来说，这正是一个光明磊落、向往率真生活的人所能承受的政治生活。带着一身的头衔和荣华，他没有辜负多年前贺氏宗亲对自己的期望，同时也没有让自己陷入一摊名利的烂泥，岁月轮转，黑发换成白发，他依然是那个豪爽率真的湘湖人。

　　他回到家乡之后的场景和感受千百年来成为人们耳熟能详的故事，少小离家，八十始归，行路踟蹰，鬓发苍苍。虽然乡音未改，但这位远道而来的“客人”还是引得乡里的孩子们纷纷围观，笑着问他是从哪里来。这让贺知章深刻地感知到自己离别家乡的岁月实在是太久了，少时的亲人朋友大多已经不在了，徒增人事沧桑之感。只有清澈的湖水，在春风的吹拂之下，还泛起和当日一样的涟漪水波。因为怀抱着对这片土地的眷恋和深情厚谊，他的《回乡偶书》以至简的语言包含至深的情感，流传千古。

　　北宋乾德二年(964)，当地百姓为了纪念贺知章，在湘湖南岸的文笔峰修建崇福院及环翠阁，这里成为文人雅士们的喜爱之地。后来，在朝代更迭间，这里又先后或新建或更名为显教寺、百步寺等。明清两代，这一带大量涌现举人、进士，人们也在感叹，或许是文笔峰的灵秀孕育了一代又一代的优秀子孙。今天，知章的塑像和“甲科济美”牌坊依然共同矗立在贺家园的村头，面对文笔峰，向世人和后代子孙昭示着这片土地包蕴的灵秀与文气。