一日赴讲，会上疮疹，不坐已累日。先生退，诣宰臣，问上不御殿，知否？曰：“不知。”先生曰：“二圣临朝，上不御殿，太皇太后不当独坐。且人主有疾，而大臣不知，可乎·”翌日，宰臣以先生言，奏请问疾，由是大臣亦多不悦。而谏议大夫孔文仲因奏先生汗下憸巧，素无乡行，经筵陈说，僭横忘分，遍谒贵臣，历造台谏，腾口间乱，以偿恩仇，致市井目为五鬼之魁，请放还田里，以示典刑。
八月，差管勾西京国子监。（见旧《实录》。又《文仲传》载吕申公之言曰：“文仲为苏轼所诱胁，其论事皆用轼意。”又《吕申公家传》亦载其与吕大防、刘挚、王存同驳文仲所论朱光庭事，语甚激切。且云：“文仲本以伉直称，然蠢不晓事，为浮薄辈所使，以害忠良，晚乃自知为小人所绐，愤郁呕血而死。”按：旧录固多妄，然此类亦不为无据，新录皆删之，失其实矣。又《范太史家传》云：“元祐九年，奏曰：‘臣伏见元祐之初，陛下召程颐对便殿，自布衣除崇政殿说书，天下之士，皆谓得人，实为希阔之美事。而才及岁余，即以人言罢之。颐之经术行谊，天下共知。司马光、吕公著皆与颐相知二十余年，然后举之。此二人者，非为欺罔以误圣聪也。颐在经筵，切于皇帝陛下进学，故其讲说语常繁多。草茅之人，一旦入朝，与人相接，不为关防，未习朝廷事体，而言者谓颐大佞大邪，贪瞬请求，奔走交结，又谓颐欲以故旧倾大臣，以意气役台谏，其言皆诬罔非实也。盖当时台谏官王岩叟、朱光庭、贾易皆素推服颐之经行，故不知者指以为颐党。陛下慎择经筵之官，如颐之贤，乃足以补道圣学。至如臣辈，叨备讲职，实非敢望颐也。臣久欲为颐一言，怀之累年，犹豫不果。使颐受诬罔之谤于公正之朝，臣每思之，不无愧也。今臣已乞去职，若复召颐劝讲，必有补于圣明，臣虽终老在外，无所憾矣。'”）先生既就职，再上奏乞归田里曰：“臣本布衣，因说书得朝官。今以罪罢，则所授官不当得。”三年又请，皆不报，乃乞致仕至再，又不报。五年正月，丁太中公忧去官。