传说唐元和十四年（公元819年）正月，韩愈因谏迎佛骨触怒了宪宗皇帝。被贬到地处边陲的潮州任刺史。在到达州治那天，下属官吏、全城百姓载歌载舞，夹道欢迎。
韩愈骑着高头骏马，面对簇拥的人群，心情十分激动。这时，一个容貌奇丑的和尚，口露两颗长牙，夹于人群之中，韩愈一眼瞥见，低声地告诉跟随的官员：“这人一定是个恶僧！”随员理解这位新上司反佛及僧的心情，不禁呵呵大笑。
次日，韩愈刚升堂办理州务，跟班便呈上一小包东西，禀道：“启禀大人，这东西是昨天那个丑和尚送来的！”韩愈打开一看，不由吓了一跳、里面包的，竟是两颗带着血迹的大长牙。他急命跟班传那个和尚进来询问，可是那个和尚已飘然无踪了。州吏告诉韩愈说：“禀大人，这个和尚经常在城内的寺院往来，据说是个善良的云游僧！”韩愈闻言，内心深感不安，负疚地对大家说：“我单凭相貌轻率地给一个人下结论，枉屈了好人，这个教训大家都要记住啊！”
他当堂挥笔写了“叩齿庵”三个大字，命人送到那和尚常来居住的寺院，以示歉意。于是，僧人便易其寺名为“叩齿庵” 。
原来，这和尚就是有名的法师大颠和尚，韩愈也早闻其名。即修书一封，写上“久闻道德，切思见颜”云云。焉知派去的人，却捎回一个“空”字。大颠果然不愿应邀前来。
韩愈忖度大颠必定误解他的好意，便另修一书，更恳切地陈叙邀见之意。可是大颠对来使避而不见，而且命门徒惠匀佯称：“师父云游未归。”
韩愈又一次修书，邀请大颠。
大颠禅师接受了韩刺史郑重三请的盛意，渡海到潮州府衙会见韩愈。
他们这次会面，对各自崇仰的学说展开了热烈的争论。谈经论道，好几天之后，才送大颠返回灵山寺。
不久，韩愈来到灵山寺，拜访大颠禅师。
大颠禅师用佛门的礼节款待韩刺史一行，当晚把他们留在寺内安歇。大颠命门徒三平烹茶招待客人。韩愈诚恳地请教大颠和尚：“下官公务繁忙，无暇观阅佛经，为了广增见闻，禅师何妨将你事佛的要领告诉我！”
大颠和尚对佛教禅宗的修炼已登堂入室。他为了显示禅宗的奥妙，便“入定”良久而不答，反而问韩愈：“你懂得其中的奥秘了吗？”韩愈莫名其妙，沉吟不语。其门徒三平见状，故意敲禅床三下。
大颠严肃地说：“你敲床做什么？”三平急忙跪下叩道：“师父之意，乃告韩公‘先以定动，后以智拔’！” 意思是，先以定力平息杂虑，然后依佛理进行修炼，以期达到超脱尘世的境界。
韩愈闻言，若有所悟地说：“和尚门风高峻，下官领会令高徒的启示，明白了你们佛法的要诀了！”
大颠禅师合十口称：“阿弥陀佛！”
他们谈经论道，切磋砥砺，无拘无束，感情愈来愈亲密。
此后，韩愈与大颠又互相访候，友情与日惧增。
元和十四年十月，韩愈忽然接到皇帝的圣旨，命他闻旨即走马移任袁州刺史。时间十分急促，转眼就要离开潮州了。他十分珍惜和大颠和尚结下的情谊，便特意再登灵山寺，亲自向大颠道别。
凉风飒飒，马儿嘶鸣，两人互致珍重，别情依依。韩愈感慨地脱下身上的二袭官服锦袍，郑重地奉赠大颠禅师作为留念，以寓“依依惜别”之情。
韩愈离开灵山寺，离开潮州城，奉旨到袁州赴任去了。
大颠特在该地建一精致亭子，把他们交往的事迹，勒石立于亭内，取名“留衣亭” 。