岳阳古城楼创建以后，在东晋义熙年间以前很长一段时间被毁无楼。迄今能见到的、最早说到岳阳楼的一首题为《夜泊巴陵》的诗有载：

       月夜三江静，云雾四边收。

       淤泥不通挽，寒浦劣容舟。

       回风折长草，轻冰断细流。

       古村空列树，荒戍久无楼。

       这首诗的作者为南朝宋的朱超石。据《宋书·朱超龄传》记载：东晋末的义熙八年（412），后来代晋称帝的刘裕曾经西伐刘毅，朱超龄及其弟弟朱超石奉命“以步骑出江陵”，行未到，刘毅及其党羽便被刘裕打败、诛戮。此诗为朱超石行滞巴陵时有感而作。诗题《夜泊巴陵》中的所谓巴陵，在历史上仅指今岳阳城。“荒戍久无楼”，从一个侧面说明：早在公元412年以前很久一段时期，在现在的岳阳楼处便有楼阁，而当时却已无楼。

       在东晋义熙八年至南朝宋元嘉三年的14年间，岳阳古城楼有过一次重修，并开始由军事设施向观赏楼转变。南朝宋元嘉三年（426），诗人颜延之写有《始安郡还都与张湘州登巴陵城楼作》：

       江汉分楚望，衡巫奠南服。

       三湘沦洞庭，七泽蔼荆牧。

       经途延旧轨，登湮访川陆。

       水国周地险，河山信重复。

       却倚云梦泽，前瞻京台囿。

       清氛霁岳阳，层晖薄澜澳。

       凄矣自远风，伤哉千里目。

       万古胜往返，百代劳起伏。

       存没竟何人，炯介在明淑。

       请从上世人，归来艺桑竹。

       前四句写岳阳楼的地理位置和它的磅礴的气势；接着八句，描绘了城楼环境。由诗可以看出，当时的巴陵城楼很逗人游览，它建在城墙上，地势高峻，楼体兀高，能够虎视三湘、七泽，鸟瞰云梦、京台；四周山环水复，异样清幽，引人“归来艺桑竹”。

       在颜延之登巴陵城楼后的第13年，即南朝宋元嘉十六年（439），分长沙郡北部的巴陵、蒲圻、下隽及江夏郡的沙阳县置巴陵郡。其时扩建郡城，岳阳古城楼（即巴陵城楼）随之修葺了一次。明《（隆庆）岳州府志》载：“今岳州郡城，始于宋元嘉十六年，因肃旧围增筑。”

       此次修葺后，直至南朝梁中期还保存着。南朝萧绎，在南朝梁普通七年（526）、南朝梁太清元年（547），曾两度出任荆州刺史。有次，他去荆州赴任，行经巴陵时，曾作《赴荆州泊三江口》（一作《行经巴陵部伍》）诗：

       涉江望行旅，金钲间彩旒；

       水际含天色，虹光入浪浮；

       柳条恒扫岸，花气尽薰舟；

       丛林多故社，单戍有危楼；

       叠鼓随朱鹭，长箫应紫骝；

       莲舟夹鹤氅，画舸覆缇油。

       榜歌殊未息，于此泛安流。

       诗中明白点出：三江口附近的“危楼”（今岳阳楼），是用于眺望敌阵的谯楼。