В декабре 1917 г. Рокоссовский вступил в Красную Гвардию. Незадолго до этого служивший вместе с ним двоюродный брат Франц предлагал отправиться в польский легион, формируемый в Белоруссии. Однако Константин, ощущавший себя больше русским, чем поляком, решил связать свою судьбу с Красной Армией.
Рокоссовский стал помощником командира Каргопольского красногвардейского кавалерийского отряда, в составе которого весной 1918 г. сражался на Украине. Осенью он возглавил эскадрон 1-го Уральского кавалерийского полка, а в марте 1919 г. вступил в партию большевиков. 4 ноября в бою у станицы Вакоринской он командовал кавалерийским дивизионом. В критический момент боя Рокоссовский со взводом кавалеристов захватил колчаковскую батарею и силой заставил пленных открыть огонь по казачьей коннице: «Будете стрелять — будете жить».
Ещё недавно, в годы Первой мировой войны, такой поступок был бы расценён как военное преступление. На Гражданской войне Рокоссовский получил за него свой первый орден Красного Знамени.
В начале 1920 г. он стал командиром кавалерийского полка. 2 июня 1921 г., командуя отдельным кавалерийским дивизионом, вступил в бой с Азиатской дивизией барона Р. Ф. Унгерна в Забайкалье. В ходе контратаки Рокоссовский спас от уничтожения пехотный батальон; был тяжело ранен в ногу, но остался в строю до конца схватки. Рана оказалась очень серьезной. Пуля перебила кость. В тот же день, сдав дивизион своему заместителю - Ивану Константиновичу Павлову, Рокоссовский отбывает в госпиталь. Расположен был этот госпиталь в Мысовске. Здесь он пробыл июнь и июль 1921 года. За проявленные мужество и храбрость его наградили вторым орденом Красного Знамени.
После окончания Гражданской войны Рокоссовский продолжил службу в Забайкалье, где командовал 27-м полком. Здесь же, в маленьком гарнизонном городке Троицкосавске, весной 1923 г. он женился на молодой учительнице Юлии Барме. Годом позже Константин Константинович приехал в Ленинград и поступил на Кавалерийские курсы усовершенствования командного состава.
После их успешного окончания он вернулся в Забайкалье. В 1929 г. Рокоссовский участвовал в боевых действиях на КВЖД где его кавалерийская бригада совместно с пехотой взяла штурмом город Чжалайнор, разгромив китайский гарнизон. Комбрига наградили третьим орденом Красного Знамени и отдали ему под командование дивизию, но уже в Белорусском округе. В 1936 г. он возглавляет 5-й кавалерийский корпус в Пскове. До этого времени карьера Рокоссовского складывалась довольно успешно. Однако в августе 1937 г. Константина Константиновича арестовали.
Следователи утверждали, что Рокоссовский — польский шпион и что завербовал его командир Каргопольского красногвардейского кавалерийского отряда Адольф Юшкевич, большевик с дореволюционным стажем Рокоссовский, несмотря на избиения, категорически отрицал свою вину. На суде выяснилось, что Юшкевич погиб ещё в октябре 1920 г, сражаясь против Врангеля в Северной Таврии, тогда как следствие относило вербовку Рокоссовского к более позднему периоду. Дело, однако, не прекратили, а Константина Константиновича оставили в заключении. Освободили его только в марте 1940 г, когда в преддверии войны Сталин решил вернуть из тюрем и лагерей некоторых ранее арестованных военачальников. В это время новым наркомом обороны был назначен Семён Константинович Тимошенко, с которым Константина Константиновича связывали приятельские отношения, сложившиеся ещё в годы Гражданской войны. Именно Тимошенко назвал имя Рокоссовского среди тех, кого надо освободить из заключения. Позднее ходила легенда, что Сталин при встрече попросил у Рокоссовского прощения за два с половиной года, проведённые им в Шлиссельбургской крепости. В мае 1940 г. Рокоссовскому было присвоено звание генерал-майора.
Поскольку 5-й кавалерийский корпус, в котором раньше служил Рокоссовский, весной 1940 г, перебрасывался на Украину, к западным границам, Тимошенко направил генерал-майора в распоряжение командующего Киевским военным округом Г. Жукова. Здесь Рокоссовский инспектировал части округа перед вводом советских войск в Бессарабию. Позднее в мемуарах он писал: «...я не мог разобраться, каков план действий наших войск в данной обстановке на случай нападения немцев. Судя по сосредоточению нашей авиации на передовых аэродромах и расположению складов центрального значения в прифронтовой полосе, это походило на подготовку прыжка вперёд, а расположение войск и мероприятия, проводимые в войсках, этому не соответствовали... Атмосфера непонятной успокоенности продолжала господствовать в войсках округа...».
В начале Великой Отечественной войны корпус Рокоссовского участвовал в танковом сражении в районе Луцк — Ровно. Оказалось, что у советских войск практически нет снарядов. Чтобы обеспечить свои части боеприпасами, Рокоссовский приказал вскрыть окружные склады без разрешения вышестоящего командования. Возглавляемый им 9-й механизированный корпус, как и другие, участвовавшие в первом контрударе по немцам, был разбит, но Рокоссовский сумел сохранить порядок в частях при отступлении. В мемуарах он критиковал Ставку и командование фронтом за постановку заведомо невыполнимых задач: «...их распоряжения были явно нереальными. Зная об этом, они всё же их отдавали, преследуя, уверен, цель оправдать себя в будущем, ссылаясь на то, что приказ для «решительных» действий таким-то войскам ими был отдан. Их не беспокоило, что такой приказ — посылка мехкорпусов на истребление. Погибали в неравном бою хорошие танкистские кадры, самоотверженно исполняя в боях роль пехоты».
В июле 1941 г. Рокоссовский был отозван под Смоленск. Здесь складывалась критическая обстановка, и Тимошенко, командовавший Западным фронтом, сказал генералу: «Собирай, кого сможешь собрать, и с ними воюй». Рокоссовскому удалось из разрозненных отрядов, отходивших без приказа, создать в районе Ярцево боеспособную группу войск и остановить продвижение немцев. С помощью нескольких свежих дивизий Рокоссовский не допустил полного окружения оставшихся в Смоленске войск. Вскоре он был назначен командующим 1б-й армией.
В начале 20-х чисел сентября 1941 года разведка армии стала приносить сведения о том, что в глубине расположения противника происходит перегруппировка сил: колонны автомашин, орудий, танков передвигались из Смоленска в район Духовщины, северо-западнее Ярцева. В то же время разведка показывала, что против 16-й армии по-прежнему находятся только пехотные части противника. Тем не менее затишье на фронте настораживало, следовало быть начеку. И недаром.
Замкнув в начале сентября в кольцо блокады Ленинград и добившись крупных успехов в середине сентября на Юго-Западном фронте, восточнее Киева, командование немецко-фашистской армии решило в первых числах октября начать осуществление операции, которая должна была завершить кампанию на Восточном фронте. Германский генеральный штаб разработал еще один план, получивший соответствующее его целям, с точки зрения гитлеровских генералов, название: план «Тайфун».
Слово «тайфун», как растолковывает его «Словарь современного русского литературного языка», означает «ураган огромной разрушительной силы, бывающий в Юго-Восточной Азии и западной части Тихого океана». Возникающие во время тайфунов чудовищный ветер и волны, достигая побережья, сметают по временам целые города и уносят тысячи человеческих жизней. Авторам плана «Тайфун» завершающая операция 1941 года представлялась, очевидно, именно таким ураганом, уничтожающим всякое сопротивление на пути вермахта. По их мнению, сделать это было давно пора, ибо шел уже четвертый месяц войны, а расправу с Красной Армией план «Барбаросса» предусматривал за 6—8 недель. Давая новой операции столь претенциозное название, германские генералы, конечно, не смотрели в энциклопедии, утверждающие, что «попадая на сушу, тайфуны быстро затухают...».
Для того, чтобы фашистский «тайфун» имел силу, соответствующую его целям и названию, гитлеровское командование не поскупилось на людей и технику. 77 дивизий, в их числе 14 танковых и 8 моторизованных, более 1 миллиона солдат и офицеров, 1700 танков и щтурмовых орудий, почти 20 тысяч артиллерийских орудий п минометов, 950 боевых самолетов — все это должно быдо смести с лица земли дивизии Красной Армии, оборонявшие Москву. Мощными ударами крупных танковых группировок противник намеревался прорвать оборону наших войск и во взаимодействии с пехотными дивизиями окружить и уничтожить в районах Вязьмы и Брянска основные силы советских войск, защищавших столицу. После этого пехотным дивизиям предстояло начать фронтальное наступление на Москву, а танковым и моторизованным соединениям обойти ее с севера и юга.
Подготовка, как и всегда, была тщательной и всесторонней. Все обещало успех. После перегруппировки сил на Московском направлении противник превосходил войска Западного, Резервного и Брянского фронтов по пехоте в 1,25 раза, по танкам — 2,2 раза, по орудиям и минометам — в 2,1 раза и по самолетам — в 1,7 раза. Еще более внушительным было преимущество гитлеровцев на тех участках, где они намеревались нанести основные удары.
В ночь на 2 октября во всех ротах на Восточном фронте солдатам прочитали приказ Гитлера: «За несколько недель три самых основных промышленных района ( Северо-Западный, Центральный и Донбасс. — В. К.) будут полностью в наших руках... Создана наконец предпосылка к последнему огромному удару, который еще до наступления зимы должен привести к уничтожению врага... Сегодня начинается последнее большое, решающее сражение этого года». Руководитель нацистского государства был прав, как никогда: действительно, под Москвой начиналась решающая битва 1941 года, но итог ее был совсем не таким, каким он грезился Гитлеру и его генералам.