历史上，海南是荒蛮、瘴疠之地。热带莽林不见天日，猛兽横行，荆棘丛生，历来都是惩罚贬官的最佳流放地。丢了职位的官员被流放海南，可谓万里投荒，九死一生。小舟横渡风雨难料的琼州海峡就是大劫，对他们来说无疑是人生重大打击。荣辱沉浮的反差如此之大，其心境绝望凄凉可想而知。李德裕曾留下诗句：“一去一万里，千之千不还。崖州在何处？生渡鬼门关。”

    不论是唐朝的风吹过，还是宋朝的雨下来，不同朝代的贬官境遇相似。被流放海南，对于李德裕等贬官，是人生低谷中的低谷，算是人生最蛮荒的时期。然而，祸兮福所倚，福兮祸所伏，唐代的李德裕，宋代的李纲、赵鼎、李光、胡铨，乃至同样被贬海南的苏东坡，他们最美好的沉淀和创造，有可能是在自然和人生的荒芜交融中完成的。海南民众的温暖，海南原始风光的神奇，给那些贬官带来莫大安慰。海南岛静谧、大气、本色、神奇、浑厚、深邃、博大、空灵之美，让他们享受了人生的另一境界，使他们重新找回了人生的乐趣和信念。宋朝名相李纲，因抗金被贬三亚，后到万宁东山岭潮音寺欲出家，住持见其气宇非凡，尘缘未了，不为其剃度，并断言其前途依然远大。果然没过多久，赦令下来，朝廷召回重用，故有“东山再起”之说。

    热闹人生遭遇“荒芜”未必全是坏事。贬官们或许在某个时刻会感恩于那些让他们人生撂荒的人事。五公祠里供奉的谪臣，海南人一点也没有歧视、羞辱和贬低他们，更没有落井下石。相反，给了他们足够的尊重和淳朴而真诚的礼遇。由此可见海南岛民开放、包容和悲悯的情怀。

    这些被贬名臣来琼，带来中原文化和视野更为宽广的文明，其新理念和新作为，如一股清风，吹进封闭而自成一体的孤岛，为海南岛的进步和发展作出了重要贡献。也因此，清光绪年间，雷琼道台朱采深感“五公”对海南的意义及影响，特督建此楼以永久纪念他们。

    五公祠是海南岛历史上与中原文化血脉相连的见证和象征。