難和奸臣相容
嶽飛帶領著嶽家軍揮軍北伐，占據了絕對優勢，打得金兵連連敗退。眼看收複失地、迎還二帝的壯誌將要得酬之時，卻突然被迫班師回朝。這實在是功敗垂成，讓嶽飛沮喪不已。他已經心灰意冷，失望透頂，就上奏章請求朝廷解除自己的兵權。高宗當然是不肯這麽做，他想盡辦法去安撫嶽飛。
九月初一，嶽飛到達臨安，高宗為了對嶽飛表示嘉獎，頒發了沒有填姓名的補官文憑481道，由他委派正任承宣使以下的官吏。
這時候，金兵又開始四處侵擾，入侵淮寧、攻打穎昌、侵犯河南、進軍川陝，並且有意進犯唐、鄧州郡。嶽飛又奉命分頭救援。
紹興十一年正月，金兀術看到宋軍都被召回去了，就聚集了十萬大軍，進犯淮西，一舉攻下了壽春（今安徽壽縣），又渡過淮河，攻陷了廬州（今安徽合肥）。負責防衛淮西的張浚、楊沂中、劉錡，合力抵抗來犯的敵人。高宗又命令嶽飛從黃（今湖北黃岡）、蘄（今湖北蘄春）兩地繞到敵人身後，支援淮西守軍，致使敵人腹背受敵。
嶽飛接到詔告，此時他正身體不適，感染風寒，咳嗽不停，但是他仍舊不顧疾病纏身，親自率領背嵬精騎兵，連夜趕往廬州。金兀術一聽嶽飛來救援，郾城的傷痛記憶猶新，就連夜帶領部隊逃回淮北，他的部下韓常見到這種情景，也就渡過淮河向北逃走了。廬州之圍被化解，嶽飛暫時屯兵舒州（今安徽安慶）待命。
金兀術聽到嶽飛由廬州回師舒州 ，又轉軍進襲濠州（今安徽鳳陽），高宗又命令嶽飛率兵與韓、張、楊、劉會師援救。嶽飛奉命立刻趕往救援，抵達定遠（今安徽定遠縣），離濠州不遠，金兀術得到消息後又逃跑了。
通過這些情況觀察，金兀術入侵淮西，並不是非要攻城拔寨，而是要困擾宋軍，讓他們疲於奔命。這正如三月十七高宗寫給嶽飛救援韓世忠的手諭上說的：“累得卿奏，往來廬舒間，想極勞勩，一行將士，日夜暴露之苦，道路登涉之勤，朕心念之不忘。”
秦檜占據相位，高高在上，但是心中念念不忘的是眾將領手握兵權，難以控製，他最怕朱仙鎮的一幕重演。範同向他獻計說，請將三大帥同時調到樞密院，自然解除兵權了。秦檜聽了之後很高興，當即密奏高宗，以柘皋（今安徽巢縣西北之重要市鎮）之捷為理由，召韓世忠、張浚、嶽飛一起趕赴臨安，論功行賞。
高宗召見範同，範同奏明高宗說，祖宗定製的規矩向來如此，軍權統歸朝廷，地方不得擁有軍權。現在三大帥都擁有很大的兵權，開府設官，這好像建立另一個朝廷一樣。如果他們任意一個有了異心，恐怕不好控製住。高宗覺得他說得很有道理，立刻命令範同與給是中林待聘，連夜在學士院中草擬詔命。為了不泄露機密，當夜就封鎖了學士院。
第二天，高宗就派韓世忠與張浚為樞密使，嶽飛為樞密副使。四月二十七又罷除韓、張、嶽三個宣撫司的職位。高宗此時隻聽信秦檜、範同的意見，滿足於他們口中所謂的中央集權。他們從不曾想過，一旦有了警報，該怎麽禦敵呢？
一天，黃機密從鄂州趕來向嶽飛辭去官職，說自己將要回鄉務農，對仕途這方麵心灰意冷了。嶽飛聽後十分悲痛，更是十分悲憤。
送走了黃機密，嶽飛每天都是抑鬱寡歡。心想，自己哪天也能像黃機密一樣當一個閑雲野鶴呢？可是眼前最緊要的還是如何避嫌釋疑，於是立刻奏請朝廷請求交出背嵬親兵，並請求將家眷由江州遷來臨安居住。
五月十一，有詔令說讓韓世忠留在樞密院辦事，讓張浚與嶽飛一起前往楚州，檢閱軍馬，安排戰略防禦，並以同以樞密行府的名義撫定韓世忠軍馬。
於是，嶽飛與張浚一起去相府拜見秦檜。
秦檜說：“你們這次去，要防著韓世忠的親信!”
嶽飛冷笑一聲說：“現在韓太保（韓世忠）已經調到職樞府，楚州的軍隊就是朝廷的軍隊，韓太保怎麽能控製得了呢！”這句話讓秦檜沒有任何理由辯駁，秦檜臉色變得很難看。
而張浚卻恭維地說道：“太師您考慮得對。”
嶽飛暗自想到，我很難與秦檜、張浚等人苟同，與其以後受到牽製，不如現在急流勇退，就上奏朝廷請求辭去樞密副使一職，朝廷不準。嶽飛無奈，隻有與張浚一起去楚州。
張浚很清楚秦檜對韓世忠很不滿，所以對嶽飛說：“朝廷之所以留下韓世忠，讓我們來楚州檢閱軍馬，無非是要我倆乘機把軍隊平分，控製住局麵而已。”
嶽飛不以為然地說道：“國家抵禦外敵，恢複中原，就隻有咱們三四個人。萬一皇上又讓韓太保領軍，你我二人還有什麽臉麵與他相見呢？”
張浚聽後十分不快。後來兩個人巡視楚州城，張浚說：“這城太過單薄，不能禦敵，應該修繕。”
嶽飛針鋒相對地說道：“修繕城府，隻是為了保命，而我們所應做的是該如何殺敵，恢複疆土。”
張浚很惱怒，卻又沒法發作。張浚以前本來十分器重嶽飛，後來因為嶽飛受朝廷不斷提拔，與他平起平坐，要與他對立了，就心生嫉妒。雖然嶽飛對他處處恭謹小心，但張浚還是無法釋懷。所以張浚回到朝廷，就散播流言中傷嶽飛，說他打算放棄山陽（即楚州），退保長江。
楚州軍吏耿著曾私下對總領胡紡說道：“兩個樞密這次前來，一定是要瓜分軍隊。本來軍隊挺好的，他們一來事情就不好了!”
胡紡將這話上告朝廷，秦檜立刻將耿著抓捕，將他投放到大理獄，嚴刑拷打，想要誅連韓世忠。
嶽飛不忍心看韓世忠被無辜牽連，就寫信給他，告訴他事情的經過。韓世忠驚恐萬分，親自拜見高宗。
高宗也很驚詫，安慰他說道：“怎麽會有這種事情，朕會為你做主的。”
第二天，高宗向秦檜查問這件事，秦檜一看事情要敗露，隻能說：“韓世忠是國家棟梁，忠心無二，怎麽能任意受到株連呢！”秦檜不得已，隻有借著詆毀罪的罪名將耿著發配了事。
秦檜為了這件事情每天都愁眉不展，恰巧一次張浚過來拜見，秦檜恨恨地說：“不知道是什麽人將這件事露泄給韓世忠，讓他搶得先機有自己澄清的機會!”
張浚想也沒想就說：“不會有別人，一定是嶽飛。臨去楚州前他不是也曾為韓世忠辯解？”
秦檜咬牙切齒地說道：“嶽飛!我不殺你，誓不為人!”
秦檜說完，知道自己失言了，心想必須拉攏張浚，才能不會讓嶽飛知道，便對張浚說道：“我原本想奏報皇上由你一個人執掌樞府，不想皇上卻又委任韓世忠與嶽飛。如果能去了韓世忠和嶽飛，全國兵權就由你一個人執掌了!”
張浚拜倒說：“這都要靠太師您提攜了。”
於是秦檜與張浚便合謀排擠嶽飛，首先讓監察禦史萬俟卨向朝廷奏請彈劾嶽飛的三個罪狀：
（一）爵高祿厚，誌滿意得，日益頹惰；
（二）淮西之役，逗留不前；
（三）公然對將佐倡言，山陽不可守，沮喪士氣，動搖民心。
原來有個叫萬俟卨的人在嶽飛坐鎮鄂州的時候，為了討好嶽飛，曾經當麵提出“足兵”、“足財”、“樹威”、“樹人”四個策略。
所謂“足兵”，就是建議嶽飛要不顧朝廷的命令，擴充軍旅；所謂“足財”，建議嶽飛設法充裕財源，這樣就可以雄踞襄漢，舉足輕重；所謂“樹威”，建議嶽飛借著理由誅殺在朝的大臣，在朝廷示威；所謂“樹人”，建議嶽飛在管轄範圍之內，遍布親信，朝中也應有密切的同僚可以通信，這樣不會孤立無援，遭人暗算。
嶽飛聽完很不高興，斥責他說：“我嶽飛這一生，隻知道有朝廷，不知道有個人。你竟勸我擁兵自重，割據稱雄！你說這種話，我本該將你查辦，但是見你千裏迢迢趕過來，我今天就放過你，今後別再來找我!”
萬俟卨乘興而來，敗興而歸，一腔怨氣無處使，到了建康，他就曾經上疏彈劾過嶽飛，秦檜把他收為心腹，舉薦他為監察禦史，萬俟卨也就死心塌地投靠在秦檜的門下。
繼萬俟卨之後，又有禦史中丞何鑄與殿中侍禦史羅汝楫也上疏彈劾嶽飛。嶽飛知道自己與秦檜和他的親黨很難相容，一再奏請朝廷辭去樞密副使的職位，然而高宗一再不準。最後，高宗了解嶽飛去意已決，到了八月初九，才同意他的請求，但高宗仍然授予他武勝定國軍節度使的官職，追加少保一職。
朱仙鎮嶽飛廟前拜跪的奸臣雕像
雖然嶽飛辭去了樞密院的官職，高宗也確實很眷念他，但嶽飛更知道跟秦檜和他的親黨們很難容他。因此，他每夜都是輾轉反側，無法入睡。
這時已經到了深秋，嶽飛追憶往事，十分感慨。張所、宗澤、李綱、張浚、趙鼎，這些知遇過他的長官，雖然有時難免在思想、看法上有所不同，但他們都是君子，忠於朝廷，一心一意恢複中原，消滅敵人，最後卻又都遭到相同的命運，這真是天妒英才!嶽飛一時百感交集，就提筆寫下 《小重山》這首詞：
昨夜寒蛩不住鳴。驚回千裏夢，已三更。起來獨自繞階行。人悄悄，簾外月朧明。
白首為功名。舊山鬆竹老，阻歸程。欲將心事付瑤琴。知音少，弦斷有誰聽？