潘家楼曾是仁风镇一座豪华、气派的建筑，是潘氏家族富有和阔绰的象征。这座木质结构的三层小楼传说是这样建起来的。
据传，潘家原先经营弹棉花生意，虽说经商，但是生意并不景气，日子并不是很富裕。有一年，潘家与河南（这里指黄河以南，章丘一带）的旧军孟家（东方商人孟洛川的家族，主要经营丝绸、布匹，瑞蚨祥商号就是孟家经营的）接洽了一桩生意，由潘家买了孟家的棉花来加工。当潘家买了孟家的棉花，渡河兴致勃勃的回到家中的时候，解开沉甸甸的包裹一看，登时就傻了眼。原来，在收购孟家棉花的时候，孟家的家丁和仆人在潘家不注意的情况下，每一包棉花里都放了一块孟家胡同里的黄泥土坯，以增加棉花的重量。潘家被孟家的家丁和仆人坑的叫苦连天。潘家人痛骂孟家为富不仁，同时搬起了土坯扔在了地上。当土坯碎开以后，潘家人立时又傻了眼，他们发现，每一块土坯里面有着一块足足十两的银锭。这突如其来的变故，立马使潘家富甲一方，但是，对于这件悲中见喜，富由祸生的事情，潘家人要求家人严守秘密，绝对不能露出丝毫的风声。原来，九津孟家富可敌国，太多的金银财宝招致了许多窃贼和家丁的觊觎。为了保护这些金银，孟家人就将金银一锭锭放在了土里，托制成土坯，放在了胡同里，那些家丁和仆人或许做梦都不可能想到白花花的金银就在土坯里，并且亲手送给了潘家人。潘家人用这笔轻而易举意外获得的财富置办了田产，并在老护城河畔建起了三层木质小楼，真正成为了仁风富甲一方的人家。
据说，潘家富有之后，每年都要摆宴好好招待亲戚朋友，并常常施舍乡邻，帮助有困难的人，以感谢上苍赐福。潘家有一种烤酒待客的礼仪，是用一种高粱秸秆来烘烤，等到燃烧完几十根秸秆的时候，酒器中的酒就热了，醇香扑鼻、饮者少醉。这种烤酒，专用来招待贵客，于是潘家便有了“烤酒待客礼仪重”的赞语。
三四十年代的仁风镇同全国大部分地方一样处在兵荒马乱、动荡不安之中，潘家楼作为一座显眼的建筑，被当时的恶势力头目徐四（徐寿亭）强行霸占。徐四人称“神枪徐四”，擅使双枪（其子徐明山，73岁，现定居杭州），他组织了一批地痞流氓，购置了14条枪，横行乡里，欺男霸女，无恶不作，霸占了潘家楼，并在潘家楼上盘踞了下来。济阳解放前夕，肖华领导的解放军第五纵队对盘踞在济阳境内的反动黑恶势力进行了调查摸排，为解放济阳做好充分的准备。作为盘踞在潘家楼上的徐四成为了攻克仁风首先要击垮的第一股恶势力。1940年1月，临近春节，济阳工委与主力部队决定铲除徐四这个地头蛇。由于县大队不少干部战士的家是仁风的，所以对敌情，诸如地形、兵力配备及生活规律等都了如指掌。28日夜间，由县大队带路，解放军五支队二营为主力，人不知鬼不觉地进了街，摸进了岗哨，很快消灭了一百多名伪军，其余的敌人跟着徐四仓皇退至潘家楼顽抗。半夜后，部队集中火力向敌人射击，使潘家楼东侧燃起大火。敌人见死到临头，在我军一片“缴枪不杀”的喊声中，一个个举起枪从楼上下来，当了俘虏。徐四也被活捉，潘家楼在这次战斗中被烧掉。