岳飞在韩世忠的问题上秉公尽义，因此更得罪了秦桧，也得罪了赵构。七月间，岳飞从楚州回到临安。十六日，秦桧唆使右谏议大夫万俟首先发难，上书指责岳飞“爵高禄厚，志满意得，日渐颓惰”。具体“罪状”有二：一是柘皋之战，违反诏旨，不及时发兵，很久才到蕲、舒；二是扬言楚州不可守，沮丧士气，动摇民心。万俟请求罢免岳飞的枢密副使。赵构亲自出场配合，首肯万俟的话，说：“岳飞公然声称楚州不可守，修城有什么用，这是因为将士久戍楚州而感到厌烦，想弃城而到别处去，岳飞的用意是附合下级以钓声誉，所以说出这种话来，叫朕去依靠谁！”秦桧乘机推波助澜，说：“岳飞的话说到这个地步，而朝廷内外有的人还不知道。”接着，御史中丞何铸、殿中侍御史罗汝楫也交章弹劾岳飞，大意跟万俟所说相同，请求赵构“速赐处分”。岳飞立即连上三奏，要求辞职。八月九日，赵构罢免岳飞枢密副使之职，改任万寿观使的闲职。

岳飞居闲后，既无兵，又无权，但是，赵构和秦桧对岳飞的迫害并不到此止步。他们觉得岳飞虽已罢官，但他的爱将王贵和张宪仍分别担任岳家军的都统制和副都统制；同时，英勇善战的岳家军依旧存在。这些都使他们不能放心。因此，他们又施展一系列阴谋诡计，以达到杀害岳飞和解散岳家军的目的。

还在六月间，赵构和秦桧就已派林大声为湖、广总领官，不仅总管岳家军粮饷，还有权统率各军。林大声到鄂州后，想方设法收集岳飞的材料，网罗败类，企图使岳飞的部将们互相攻击，然后牵连岳飞父子。岳飞手下有一个叫王俊的前军副统制，屡次因奸贪而受到张宪的处罚，对张宪怀恨在心。林大声觅到王俊，如获至宝，便向王俊暗示了秦桧的意图。王俊受宠若惊，觉得这是难得的升官发财的好机会，还可乘机报复张宪。

林大声和王俊经过精心策划，由王俊出面诬告说，张宪曾对王俊谈及，为岳飞罢官，准备裹胁大军由鄂州移屯襄阳，逼迫朝廷释放岳飞，并把兵权交还给岳飞。如朝廷派兵来剿，则请番兵帮助。王俊的状词破绽很多，最明显的是张宪和王俊原来关系并不融洽，王俊又是尽人皆知、专事告密的无耻之徒，张宪决不会跟他推心置腹地商议这种大事。

张宪原准备去临安朝见赵构。等张宪经过镇江时，王俊的诬告状已送到了张俊手中。张俊立即在镇江将张宪拘押起来。根据宋朝的法制，枢密院无权审讯犯人，但张俊求功心切，不等将张宪解往临安，就在行府私设刑堂。张俊使用种种毒刑，把张宪打得体无完肤，企图逼迫张宪承认收到过岳飞的亲笔信，信上命令张宪设法使朝廷将兵权归还岳飞。并把王俊叫来当堂对证，但张宪宁死不屈，不肯诬认。张俊见动刑和对证都不能使张宪屈服，便假造供词，上奏说：张宪已供认“在收到岳飞文字后谋反”。

按照事先的策划，不论指使王俊诬告，或者胁迫王贵，拷打张宪，无非是为了顺藤摸瓜，以牵连岳飞父子。十月十三日，赵构传下“圣旨”，命令在刑部大理寺设立制勘院，以审理此案，然后“闻奏”。于是岳飞和岳云都被逮捕，押送到大理寺狱之中。与此同时，朝廷还出榜公布，说张宪一案“其谋牵连岳飞，遂逮捕归案，设诏狱审问”。此案由赵构亲自审理，可见关系重大。

岳飞被投入牢狱后，由御史中丞何铸、大理卿周三畏共同审讯。何铸原来附和秦桧，曾参预弹劾岳飞。审讯时，何铸传岳飞到庭，要岳飞交待“谋反”的罪行。岳飞撕开衣服，袒露背部，叫何铸看他背上刺着的“尽忠报国”四个大字。这几个字深深透入肌肤，是他老母姚氏早年亲手刺上的。何铸不禁深受感动。在继续审讯时，何铸逐步发现王俊的状词、张俊的奏章等都是无实据的诬陷之词，说明岳飞蒙受了不白之冤。他把这一看法禀告秦桧。秦桧听罢，大为不满，便向何铸透露，这次逮捕和审讯岳飞不是他秦桧的主意，而是“圣上的意思”。何铸不听，仍然据理力争，说：“我何铸岂止是为了一个岳飞！强敌未灭，无故杀一名大将，会失去士卒的信心，不是社稷长久之计！”秦桧无言以对，愤愤而去。

何铸为岳飞鸣冤，审讯工作自然毫无进展。赵构和秦桧就用别的名义，将何铸调离御史台，不久后又将他贬官。十一月二十一日，改由万俟、罗汝楫、周三畏等人重新审理岳飞这一案子。

万俟以前任湖北提点刑狱时，岳飞宣抚荆湖，曾对万俟很不客气，万俟一直耿耿于怀。这次，万俟主动要求负责审讯岳飞，显然不怀好意。岳飞和张宪第一次受审，被带到堂上，蓬头赤脚，浑身血染，戴着沉重的枷锁镣铐。万俟等人向岳飞大声呵斥道：“国家哪里亏待你们，你们二人却要谋反？”岳飞理直气壮地说：“对天起誓！我绝对不辜负国家。你们既然主持国法，就不该损陷忠臣。否则，我到冥府也要与你们对质到底！”万俟又追问岳飞说：“你既然不想谋反，你记不记得游天竺寺时，在壁上题有‘寒门富贵在何时’一句，这是什么用意？”罗汝楫等陪审官员一齐随声附和说：“你既然写这些东西，岂不表明想造反吗？”岳飞看到这些审讯官员无一不是秦桧的党羽，跟他们讲道理还有什么用处呢？不禁长叹一声说：“我现在才知道已落入国贼秦桧手里，使我为国尽忠之心都白费了！”说罢，闭上眼睛，再也不说一句话，任凭狱卒去拷打。