Причиной неудачи явилась не только плохая погода, но и бесчисленные перестройки в структуре посевных площадей и культур. Там, где сохранили пары, собирали от 7 до 15 центнеров с гектара, но на миллионах гектаров хлеб не убирали вовсе. В целинных районах, на огромных территориях произошла экологическая катастрофа.
Падение популярности Хрущева в народе началось еще в 1962 году. Причины для недовольства имелись почти у всех слоев населения. Рабочим не нравился недостаток товаров, у служащих и пенсионеров снижался реальный размер доходов, крестьянам не нравились посягательства на личные подсобные хозяйства, чиновники ощущали нестабильность своего положения, партийные работники считали ошибочным новый Устав КПСС.
Хотя популярность в стране Хрущева падала, именно в эти годы началась кампания по неумеренному его восхвалению. На смену развенчанному культу личности Сталина приходил культ личности Хрущева.
Недовольство итогами и методами хрущевского руководства распространялось теперь и на большинство секретарей обкомов партии, председателей совнархозов и государственных комитетов, на верхушку армии, КГБ и МВД, которые как раз и составляли основную часть ЦК КПСС.
17 апреля 1964 года Н.С. Хрущеву исполнилось 70 лет, и юбилей широко отмечался в стране. Президиум Верховного Совета СССР присвоил Хрущеву звание Героя Советского Союза - за заслуги перед КПСС и Советским государством и «за исключительные заслуги в борьбе с гитлеровскими захватчиками». В Москву прибыли главы правительств многих социалистических стран, которые также приветствовали Хрущева и вручали ему высшие знаки отличия своих стран.
1964 год у Хрущева также был насыщен поездками по стране и за границей. В СССР вновь прилетел Кастро, с которым Хрущев подписал соглашение о закупке сахара, с ним он посетил Киев. В Киеве он также принимал министра экономики и финансов Франции Жискар д'Эстена. В Москве он встречал президента Алжира А.Бен Беллы.
Летом отовсюду поступали сообщения о хорошем урожае. 1 августа Хрущев выехал в сельские районы Саратовской области, затем побывал в Волгоградской и Ростовской областях, в Северной Осетии. Затем Хрущев ознакомился с ситуацией и на целинных землях. Во время пребывания Хрущева на целине он крупно поспорил с А.И.Бараевым, директором института в поселке Шортанды, пропагандировавшим чистые пары. Хрущев распорядился снять Бараева и назначить директором другого человека. Но после того, как Хрущев улетел, состоялось собрание на котором была поддержана рекомендуемая Бараевым система земледелия. Большинство поддержало Бараева, и бюро обкома отклонило рекомендацию Хрущева. Это был, вероятно, первый случай подобного рода, но и он свидетельствовал о падении и популярности, и власти Хрущева. Немало времени Хрущев провел и за рубежом. В начале апреля он находился в Венгрии, где посещал предприятия, вузы, сельские хозяйства, подразделения советских войск. В мае состоялся продолжительный визит Хрущева в ОАР, поводом для поездки послужило строительство Асуанской плотины на Ниле, строилась, которая в том числе советскими инженерами и техниками, а также с использованием советского оборудования и кредитов.
В Каире Хрущев за заслуги в развитии советско-египетских отношений был удостоен высшей награды ОАР - ордена «Ожерелье Нила». Также ему был вручен и высший орден Эфиопии. В ответ на эти награды Хрущев присвоил звание Героя Советского Союза Насеру и вице-президенту ОАР маршалу Амеру. Это было ошибкой Хрущева, так как эти две личности не только выступали против Англии, но и считали возможным сотрудничать с гитлеровскими властями, во время войны.
Через три недели после возвращения Хрущева в Москву, он отправился в Скандинавию, где побывал в Дании, Норвегии и Швеции, знакомясь с промышленностью и сельским хозяйством этих стран. Этот визит не сопровождался ни проведением серьезных переговоров, ни заключением важных соглашений. С 21 по 23 июля Хрущев совершил краткий визит в Польшу для участия в праздновании 20-летия ПНР. Побывал на 20-летии Словацкого вооруженного восстания в Словакии.
Также Хрущев хотел предпринять попытку посещения ФРГ, в которой предполагал пойти на существенные изменения отношений между СССР и ФРГ, но визит не состоялся по не зависящим от Хрущева причинам.
После поездок Хрущев начал готовить реформу в деле управления сельским хозяйством, он хотел создать в стране специализированные управления по отраслям сельского хозяйства: «Главскотоводство», «Главптицеводство», «Главхлопководство», «Главсвекловодство» и т.д. Однако, это предложение встретило возражения.
Отдыхая на даче в Пицунде, Хрущев внимательно наблюдал за происходящим в космосе, а между тем в Кремле уже началось расширенное заседание Президиума ЦК КПСС, на котором Суслов и Шелепин поставили вопрос о немедленном смещении Хрущева со всех постов. Развитию этих настроений и обсуждений свидетельствовал и тот факт, что за девять месяцев 1964 года Хрущев 135 дней провел в поездках. В центре событий находились М.А.Суслов и А.Н.Шелепин. Решающее значение имело согласие с ними второго секретаря ЦК КПСС Л.И.Брежнева и министра обороны СССР Р.Я.Малиновского.
Когда утром 13 октября Хрущев принимал на своей даче министра Франции Г.Палевского, зазвонил телефон. Хрущеву звонил Брежнев, и передавал, что в Москве собрались члены ЦК и хотят провести Пленум с обсуждением предложений Хрущева по сельскому хозяйству. После долгих отклонений, Хрущев все же решил лететь в Москву.
Уже в аэропорту Хрущев понял, что речь будет идти отнюдь не о структуре управления сельским хозяйством, так как встречал Хрущева только председатель КГБ В.Е.Семичастный.
На заседании Хрущев отклонял все обвинения в свой адрес. В поддержку Хрущева выступил только Микоян. Решено было отложить заседание на следующий день, но уже вечером Хрущев звонил Микояну, и сказал: «Если они не хотят меня, то пусть так и будет. Я не буду больше возражать».
На следующий день заседание Президиума ЦК продолжалось не более полутора часов. Первым секретарем ЦК КПСС было рекомендовано избрать Л.И.Брежнева, Председателем Совета Министров СССР А.Н.Косыгина.
После отставки Хрущева он еще несколько дней принимал французских деятелей. Они спрашивали его, кто, по мнению Хрущева, мог бы наследовать его власть. В первую очередь он хвалил Брежнева, а также называл Косыгина и Подгорного.
14 октября в Кремле заседание Пленума ЦК КПСС открыл Л.И.Брежнев. Доклад на Пленуме сделал М.А.Суслов. Доклад представлял собой крайне поверхностный документ, в котором все сводилось главным образом к перечислению личных недостатков или ошибок Хрущева, причем кроме серьезных замечаний имелись также и не значительные мелочи. В основном эти замечания были справедливыми. Суслов говорил, что в газетах фотографии Хрущева, печатались больше, чем портреты Сталина. Суслов упрекал Хрущева за то, что он привлекал в политику всю свою семью, и прислушивался к их мнению больше, чем к мнению его приближенных, хотя это было далеко не так. Суслов критически высказался о разделении партийного руководства по производственному принципу. Критиковал он и недавние предложения Хрущева по созданию специализированных управлений в сельском хозяйстве. Хрущев, как сказал Суслов, возомнил себя специалистом во всех областях: в сельском хозяйстве, дипломатии, науке, искусстве, - и всех поучал. Суслов заявил, что запутанное Хрущевым управление промышленностью (госкомитеты, совнархозы, ВСНХ) невозможно распутать. Обвинял Суслов Хрущева и в неправильной политике в области ценообразования. По свидетельству Суслова, Хрущев был не осторожен в своих выступлениях. Обвинялись решения Хрущева также и в области внешней торговли. Суслов подверг критике и многие из аспектов сельскохозяйственной политики Хрущева. Упомянул Суслов и о присвоении Насеру и Амеру звание Героя Советского Союза, возложив ответственность только на Хрущева. Не забыл он рассказать и о последней поездке Хрущева в Скандинавские страны со всей семьей - с детьми, внуками, - их было 6 человек. В конце доклада Суслов сказал, что смещение Хрущева - проявление не слабости, а смелости и силы, и это должно послужить уроком на будущее.
Решение было принято единогласно в следующей формулировке: Н.С. Хрущев освобождается от своих постов в связи с преклонным возрастом и состоянием здоровья. Было принято еще одно решение: не допускать впредь совмещения в одном лице должности Первого секретаря ЦК КПСС и Председателя Совета Министров СССР.
Вернувшись вечером домой, он сказал: «Ну вот, теперь я в отставке. Может быть, самое главное из того, что я сделал, заключается в том, что они могли меня снять простым голосованием, тогда как Сталин велел бы их всех арестовать».
На следующий день после Пленума ЦК Хрущев уехал из Москвы на государственную дачу. В первые недели после отставки, Хрущев находился в состоянии шока. В свои 70 лет он оставался человеком громадной энергии и железного здоровья, но Хрущев не скрывал своей растерянности. Он никогда, даже с родными, ничего не говорил о своих преемниках - ни хорошего, ни дурного. Хрущеву определили персональную пенсию в 400 рублей в месяц, что было не так уж много, учитывая его недавнее положение в стране. За ним сохранялись квартиры, старый ЗИЛ и еще некоторые привилегии.
Первые два года жизни в отставке были для Хрущева наиболее трудными, но позднее он привык к роли пенсионера, и становился все более общительным. Главными занятиями Хрущева на пенсии оставались чтение книг, фотографирование, и, конечно же, огород. Он не боялся экспериментировать: выращивал помидоры весом до килограмма, увлекался экстравагантными методами выращивания плодов. Постепенно круг людей, с которыми Хрущев встречался, постоянно увеличивался: он принимал писателей, драматургов, других руководителей, часто беседовал со своей охраной. Отношения Хрущева с людьми, окружавшими его на даче, ставшей постоянным местом жительства Хрущева, были вполне дружелюбными. 75-летие Хрущева не прошло незамеченным в западной прессе, он получил поздравление от де Голля, английской королевы, от Я.Кадара.