据历史记载，小南海原名南湖，系历代修城筑堤取土之地，后浠不成湖。经明清近600年的营建装修，形成了西起悟颖塔东至汝水河滨北至城壕，总面积达千 亩的风景区。明代在南湖修建成的观音阁，是仿造南海普陀寺的模式。由于观音阁的规模小于南海，所以人们称南湖为小南海。小南海古建筑有观音阁、大士寺、准提楼、黄鹤 楼。据《汝南县志》记载，观音阁在明嘉靖二十四年建成。明万历三十二年（公元1606年）建成的黄鹤楼，在明末被毁。清朝雍正年间，迁天中书院于南湖之上，称南湖书院。乾隆年间，大兴窦煦题写“登瀛”二字镌刻于一青石之上，立于南湖北侧，为小南海增添了几分浓郁的文化气息。

走进小南海所在地--汝南园林学校大门，便看到了“登瀛石”。由“登瀛石”往南是一石桥，桥南为一小岛，岛上松柏成行，形成一条幽深的林阴道。沿着小道向南走，有一古松，传说观音曾在此打坐，所以此处被人称为“倒坐观音处”。再向南走，有一石柱，从石柱向南有两座三孔青石桥，可以通往对岸的大士寺，相传为明代所建。大士寺建在高台之上。登临向北而望，似有一览众山小之感。小岛内如今没有一处建筑。据《汝南县志》记载，1928年，冯玉祥督豫，曾下令打神扒庙，小南海的庙祀神像均遭到破坏，1937年才逐渐恢复。不幸的是，文革时期再次遭到破坏，后经汝南园林学校重新植树栽花才形成了如今的绿园。

今天所看到的临小南海而建的南海禅寺，是台湾著名高僧明乘法师于1992年开始投资兴建的。进入南海禅寺，首先映入眼帘的是高大壮观、气势雄伟的南海禅寺寺门。“南海禅寺”四个字是中国现代著名书法家赵朴初先生题写的。 寺门为5门6柱11楼，长50米、高31米的牌楼，中门内外有各式各样精美的佛教浮雕。寺门外站立着用大理石雕刻的栩栩如生的四大天王。进入寺门，是一条长长的通道，由北向南共有十二座花岗岩牌坊，风格独特、巍巍壮观。十二牌坊之后是该寺的主体建筑--正方形的大雄宝殿和天王、观音、文殊、普贤四大配殿。其中大雄宝殿占地面积为10亩，超过了北京故宫太和殿和山东曲阜孔庙大成殿的建筑规模。大殿四周平台的外墙上，是用汉白玉雕刻的神态各异的五百罗汉。大雄宝殿东是白圣长老舍利塔大院，院内佛塔、牌楼、碑碣、石亭相映成辉，风景幽雅别致。

历尽百年沧桑的小南海，如今成了一道永不褪色的风景。