据湘子自己说，已把一点灵苗完全放在道门中，马上就要离家修道去。韩愈大怒；亲自执着大杖，讯问湘子，这等学问，是谁教给你的？可是那位谷朋先生传授与你？湘子也不惧怕，竟自岸然说道：“三教都是圣道。怎见得儒、佛两派必定是异端之学？叔父诋毁佛、道两家，是因眼见世上的和尚道士，只会作恶骗钱，一点不懂学理，所以痛恶深绝到这般田地。其实这批东西，正是两教的贼类，不但为孔道所不容，就是佛、道两教中，也并不承认有这一类假冒招牌，藉名乞食的东西。叔父若能平心静气，把两教真正的奥义微言，玄经秘籍，稍加一番研究，便知此中至理，还有为儒家所不能企及者哩。”
韩愈听了，气得拍案顿足，大骂湘子无君无父，是夷狄禽兽之辈。又说：“这都是那个什么吕谷朋教的好书。当初我原有些疑心，为他效那毛遂自荐，不待人请，送上门来，从古到今，哪有这等苟且自轻的先生。也因你这奴才，多少好先生，看不惯你的狂妄相儿，一个个被你撵走，没奈何，就将这人留下，暂时试用一下。可也不晓这人是何来历，曾在什么人家做过西宾，糊糊涂涂地将他一留，就留了三年之久。怪我这几年来国事萦心，总没工夫来调查你的学业。不料你竟不自受至此，一步步走入歧路上去。虽说教授之责，属于师傅，但你那么倔强不法的脾气，多少正经规矩的先生，被你得罪了去。偏偏对于这等邪说妄行，误尽青年的妄人，你又那么慕而且敬的事事服从起来。可见毕竟还是你这奴才自己太不学好的缘故。从今为始，你要做我韩门令子，须听为叔的指教，把三年来所学的异端之学，完全丢却。不但不许出诸口，简直不准再去想它一想，好好儿用正当的功来，好在年纪还小，出去考功名，还早得很咧。你又有那样天资，只要再加三年苦功，着实来得及哩。要是不然，我韩门中果然不配有你这等子孙。就是我堂堂华夏，也没有你这种邪人。不但我这府中不配你住，连这四海之内，率土之滨，也非你所能立足。”