金兵大举南侵，掳走徽、钦二帝，历史上称“靖康之耻”。康王赵构南逃，相传到过象山，历史无明确记载，但象山的一些地名来历，确与康王避难有关。
　　康王坐船南逃，金兵穷追不舍。一天，康王进入乱礁洋，翘首西望，满眼是崇山峻岭，决定只身弃船登陆，以避开金兵。他从毛湾上岸，走到下毛湾，稍作停留，准备上马赶路，只觉浑身无力，幸亏路边有块大方石可作垫脚，才上了战马。这块大方石如今留在下毛湾村东路口，高约半米，人称上马石。下毛湾也因此别称上马石。
　　康王策马扬鞭，越过珠山，穿出珠山岙，后有金兵蜂拥紧追。路人见一英俊小将被金兵追得走投无路，知是宋将，忙将他引入小路，躲进路亭，替他脱下战袍，换上民服，引他向西南逃去。后来人们始知他就是高宗皇帝，因称该亭为着衣亭。
　　再说康王马不停蹄，翻过几座山，越过几道岭，被茫茫的西沪港挡住去路，他来不及多想，调转马头向北登上一条矮岭头，猛见远远的山坳炊烟缭绕。便策马向那山坳奔去。因有这段传说，后人称这条岭为相见岭