相传很古很古以前，横岗山下是一条大江，江岸长满了各种各色的花草树木，风景优美，宛如人间仙境。有一天，一位仙女私自下凡游玩，被这里的风景迷住了，竟忘记了上天。

玉皇大帝知道后，勃然大怒，就命雷公下凡捉拿仙女。仙女与雷公在江边展开激战时，一根野藤把仙女的一只绣花鞋扯落了，仙女来不及捡起来，就被雷公捉上了天。这只绣花鞋恰好被一个放牛娃看见，便捡起来拿在了手里。这时一阵狂风吹来，放牛娃同绣花鞋一起都被吹到江里去了。

忽然，放牛娃觉得自己被一个东西托住，慢慢地，便成了一座金桥，放牛娃坐在金桥上，看见自己的水牯牛还在岸边“哞哞”的直叫，就说：“这桥能长草放牛那就好了。”话刚说完，一座山从桥上凸起，把整个江都盖住了，因此人们都叫它横江山，由于方言的语音，把“江”读为“岗”。