历史上，鄱江楼是真的存在，并有许多丰富的文化和历史。它建于唐代，原在南门城上，即现在的南门口，大龙桥与沿河路的交汇处，是一座集防御、观光和宴饮于一体的城门楼。唐大历十才子之一钱起有《陪使君叔鄱江楼宴郑中丞》诗，这“使君”是指饶州刺史第五琦。南宋状元王十朋知饶州时，多次到鄱江楼赴宴并留下《鄱江楼分韵得月字》、《前端午一日会饮鄱江楼十有六人既分韵赋诗又戏成短篇》、《同官会饮鄱江楼，送谷帘泉二尊，戏成小诗》以及《鄱江楼》等诗。洪适《虞美人》词中有“鄱江楼下水含漪，孤负钓滩烟艇、绿蓑衣” 的妙句。诗人洪咨夔曾官饶州教授，期间作《鄱江楼晚望》诗。元初本县诗人黎廷瑞也作有《登鄱江楼》诗。明初，朱元璋来鄱阳，在鄱江楼接见父老乡亲，这更增加了鄱江楼的文化重量。