公元760年，高力士因在禅位之争中坚定地支持玄宗，遭到了当权宦官李辅国的嫉恨，被放逐至巫州（今湖南黔阳县）。临行前，高力士对天子表示：“我早就该死了，但陛下您的怜悯让我得以苟延至今。只求能再见您一面，我死而无憾。”然而，李辅国并未允准，他的命运就此走向了悲剧。在巫州，高力士见到了无人问津的荠菜，以此为灵感，他创作了《感巫州荠菜》一诗，诗中写道：“两京作筋卖，五溪无人采。夷夏虽有别，气味始终如一。”这首诗表达了他坚贞不屈的气节，即使身处逆境，其忠诚之心依旧不变，正如荠菜般坚韧。
后人也以诗怀念他：“列戟依稀旧府第，中涓声势曾压公卿。殿头曾有天子望，乡野犹传骠骑名。昔日珍楼今日废，香树几度荣枯间。野花遍地皆朱紫，唯有巫州荠菜生。”高力士以荠菜自比，虽在长安贵为臣子，流放到巫州却备受冷落，但他的忠贞不渝始终如一。
公元762年，高力士在获赦返回途中，途径郎州龙兴寺（今湖南桃源东）时，得知玄宗驾崩，悲痛欲绝，他面向北方痛哭，呕血而逝，享年七十三岁。代宗恢复了他的官职，并追赠扬州大都督，成为玄宗钦点的唯一一位死后陪葬者，陪葬于唐泰陵，他的忠诚与悲壮人生至此画上了句号。
高力士墓位于蒲城县保南乡山西村六组，它是泰陵唯一的一座陪葬墓。高力士本姓冯，名元一，广东潘州人，深受武则天的爱怜，赐姓高，改名力士。高力士墓的发掘从九九年七月下旬至十一月初．历时三个多月，到现在已经发掘清理结束、共出土文物24O余件。主要有粉彩俑、陶动物。