在中国古代苍溪，过江就主要是靠船了，在嘉陵江畔居住的人们，两崖的来往就是通过这个渡口。这里曾是下阆中，上剑阁的必经之路，所以才会有那么多的名人大家在此路过，感叹苍山溪水的美丽，写下这么多的诗章：在“最忆苍溪县，送客一亭绿”。

   临江渡建寺，据史可考不晚于明成化年间。时任四川督学的吴智，在《舟泊苍溪题》中，便有“居民依麓茅为舍，右寺栖岩石作床”的诗句。

   清乾隆三十六年（1771年），因苍溪旧城不固，县令余大鹏在临江渡山岩取石筑城，即审势度形，凿洞祀佛，临江寺主体——慈云阁上下两洞，规模因此初具。

    殿对面原建有古戏楼一座，殿与戏楼间的院坝中植奇花异草，戏楼两侧石栏围绕，栏外古木参天，寺西头为“波光竹影轩”，古朴雅致。轩前翠竹葱茂，轩下江水徐流。月明之夜，微风吹拂，竹影移动，波光鳞鳞，为苍溪县城周围八景之一的“临江夜月”。

杜少陵的放船诗：

送客苍溪县，山寒雨不开。

直愁骑马滑，故作放船台。

青惜峰峦过，黄知桔柚来。

江流大自在，坐稳兴悠哉。