Постепенно крепость окончательно утратила свое военное значение. В последующем постройки городища неоднократно перестраивали, приспосабливая для хозяйственных нужд. До наших дней в какой-то степени сохранилась восточная часть городища, облицованная камнем. Здесь в северо-восточной части можно увидеть несколько крупных валунов. На одном из них выбит небольшой крест, заключенный в круг. В XIV-XV1 веках таким образом либо обозначали государственные границы, либо освящали языческие культовые сооружения.
Ученые предполагают, что чин освящения камней был произведен иеромонахом Илией из Новгородского Архиерейского дома, который в 1530-х годах нарёва появился небольшой памятный знак с надписью: "Нашим предкам, русским, обильно поливший эту землю потом и кровью".
Одна из лучших русских крепостей находилась на территории современного Кингисеппа. Сегодня о былой мощи каменной твердыни напоминают лишь руины кладки да остатки земляных бастионов.
Постройка новой крепости была обусловлена тем, что в конце XIV века Новгороду Великому необходимо было срочно укреплять свои западные границы. В 1384 году на крутом правом берегу реки Луги, в ее среднем течении была возведена крепость Ям, или Ямгород. Древняя летопись гласит: "... поставиша новгородцы город камян на репе на Луге, на Яме... ". Это было первое письменное упоминание о крепости, хотя известно, что еще в VII I-IX веках здесь существовало крупное по тем временам поселение со смешанным славянским и угро-финским населением. Строительство велось очень быстрыми темпами и было закончено всего за 33 дня. Крепость занимала стратегически выгодное положение Ямгорода появился небольшой отряд ливонских рыцарей. Они разорили несколько сел в ближайшей округе, но на саму крепость напасть не решились.
Крепость Ямгород оказалась в самом центре событий во время войны Новгорода с Ливонски морденом 1443-1448 годов.
В самом начале боевых действии ливонцам даже удалось сжечь ямгородскнн посад. В то время у русских, возглавляемых князем Василием Юрьевичем Суздальским, сил для достойного отпора было недостаточно. Одна из русских летописей сообщает, в частности, что когда ливонцы в 1444 году подступили к Яму, "бивши город пушками, а з города такоже противу пушками; и нарочитую ихъ пушку заморскую великую, а намеривше с города розбнша н пушечннка и многих добрых немцев побн". В 1447 году, когда защитникам крепости вновь на протяжении тринадцати дней пришлось отбиваться от врагов, во время обстрела опять досталось самим осаждавшим - на этот раз разорвалась одна из огромных пушек-бомбард и "поби немец много". После этого "отбегоша немцы от города нощию". Неудача ливонцев под крепостью Ям во многом определила и исход войны, завершившейся в 1448 году заключением очередного перемирия.
Во время боевых действий сильно пострадали укрепления крепости и нуждались в срочном ремонте и реконструкции. Поэтому в 1448 году новгородский архиепископ Ефимий отправился в Ямгород и руководил здесь строительством новой крепости - каменной, охватывающей большую, чем прежняя, территорию. Общая протяженность стен достигала 720 метров. В плане крепость напоминала трапецию. На внешней северной стороне находились три круглые башни с шатровыми крышами. Такие же башни располагались на южных углах крепости. В середине крепостной стены, проходившей вдоль реки Луги, стояла квадратная башня. Всего же их было не менее девяти. В юго-западном углу располагалась цитадель, в состав которой входили детинец (вышгород) н "окольный город". Узкий проезд в воротах шириной всего 2 м был укреплен поперечными камерами, что давало возможность защищать его на подходах, и даже в том случае, если бы противник прорвался к воротной башне. Около 1500 года крепость вновь перестраивали.
К концу XV века Ямгород становится важным административным и торговым центром. Около его крепостных стен вырос посад, в котором по переписи 1500 года было 239 тягловых (то есть плативших оброк) дворов, кроме того - нетягловые дворы управляющего уездом великокняжеского наместника, монастырь н церковь. Вскоре посад перекинулся и на другую сторону реки Луги. Внутри самой же крепости было двадцать два двора "городчан" н восемь "осадных дворов", которые были приготовлены на случай неожиданного нападения врага. В 1630-х годах голштннский путешественник Адам Олеарий в своем широко известном труде "Описание путешествия в Московию" писал о своем пребывании в Ямго-роде, "... крепость Ям, которая, в 3 милях от Нарвы, лежит в Ингер-манландни за рекою, богатою рыбою, особенно лососями, и называющеюся "Ямскою речкою"... крепость невелика, но окружена крепкими каменными стенами и 8 бастионами... ". Но после постройки крепости в Ивангороде в 1492 году военное значение Ямгорода уменьшилось.
Осенью 1581 года во время Ливонской войны шведам во главе с Понтусом Делагардн удалось захватить крепость, в 1590-м ее отвоевали русские, а в 1612-м она вновь перешла к шведам. В 1658 году русские преодолели внешнюю линию укреплений, но шведы укрылись в небольшой внутренней цитадели. Так как взять цитадель не удалось, то русским войскам пришлось отступить.
Постепенно долгое время не ремонтировавшиеся укрепления Ямгорода стали ветшать. В 1658 году шведы взорвали их, оставив нетронутой только четырехбашенную цитадель. Шведы начали насыпать земляные бастионы на месте взорванных крепостных стен. Новое строительство продвигалось очень медленно и к началу Северной войны не было закончено.
В 1703 году Ям го род был взят русскими войсками. По распоряжению Петра I в крепости, переименованной в Ямбург, начались восстановительные работы с целью усиления ее военной мощи. На месте частично разрушенной каменной крепости было построено земляное укрепление с четырьмя бастионами и куртинами. Однако в боевых действиях крепость больше не участвовала, и к середине XVIII века Ям городские укрепления окончательно потеряли всякое значение. В 1781 году по указу Екатерины II сносятся остатки крепости - старинные каменные стены и башни цитадели. В 1816 году последние следы укреплений исчезли окончательно. От прежнего Ям города остались только нижняя часть кладки стен и руины двух бастионов и куртины.
В городе Всеволожске Ленинградской области в Румболовском парке на склоне Румболовской горы стоит это достаточно загадочное сооружение в запущенном и непрезентабельном виде. Сейчас доподлинно неизвестно кто, когда и для каких пелен построил Красный замок. Известно только (усилиями местного краеведа Г.Я. Воккн), что в начале XIX века он уже существовал, и Всеволожские, ставшие владельцами усадьбы Рябово в это время, приспособили здание для размещения в них мастерских. По некоторым сведения замок уже в то время имел плачевный вид. Усадебный дом, построенный на вершине горы, успешно сгорел в 1926 году, а здание Красного замка можно увидеть и сейчас. Вот как об этом писал Г.Я. Вокка: "Господский дом (Всеволожскних)... сгорел в 1926 году, а вот мастеровой корпус с его таинственными башнями о пяти этажах цел и поныне, хотя дважды горел, последний раз в самом начале XX века... ". Впоследствии с 1934 года в нем размещались артель "Резнноткань", цех № 15 завода РТИ объединения "Красный треугольник". По понятный причинам сооружение приобрело еще более разрушенный вид.
История Красного замка за долгие годы своего существования обросла всевозможными легендами и преданиями. Одна из легенд напрямую связывает появление замка с деятельностью шведов в этих краях. Известно, что по территории Румболовского парка проходила древнейшая шведская дорога. И даже в XIX веке владельцы Рябово Всеволожские предпочитали добираться до своего усадебного дома по дороге через парк мимо мастерового корпуса. Практически это была дорога, проложенная шведами еще в XVI-XVII веках. Ее и сейчас называют "шведскими мостами" - в память о гатях, проложенных еще в XVI веке шведским полководцем Понтусом Делагарди.
Эта шведская дорога, начинавшаяся в Кореле. проходила через местечко Рябово, а далее разветвлялась: одна дорога вела к крепости Орешек (Нотебург). а втора я уходила к Пиепшаниу, располагавшемуся в устье реки Охта. Именно в том месте, где дороги расходились, шведы и решили устроить свой опорный пункт. По легенде Красный замок построили для того, чтобы войска могли в нем передохнуть, а в случае возникновения непредвиденной ситуации и укрыться здесь от врага. Для этого он был окружен рвом с востока, а на юго-западе возведены две высокие кирпичные стены. Вот так в полупустынной и болотистой местности появился Красный замок в пять этажей с двумя башнями. В самом замке, глубоко иод землей существуют гигантские подвалы, которые могли служить для хранения боеприпасов и провианта дли большого количества людей. Для обеспечения удобных подходов к замку через болота были проложены гати, а уж в случае возникновения совсем критических обстоятельств была создана целая система подземных ходов. До сих пор сохранилось предание о том. что якобы в 1918 году по одному из таких ходов спасся от пришедших за ним революционных солдат и матросов помещик Всеволожский. Среди местных жителей передаются рассказы о том, что существуют даже такие подземные ходы, которые ведут к колтушским каменоломням, находящимся более чем в десяти километрах от Всеволожска.
По другому преданию в Красном замке была устроена придорожная церковь - лютеранская кирха.
Вероятнее всего, что Красный замок, как опорный пункт шведов, был возведен в 1556-1580 гг. На это, в частности, указывают и письменные свидетельства. Так в письмах шведского короля Густава 1 в 1556 году неоднократно указывается на необходимость возведения не только мостов, но и лагеря для армии неподалеку от главной дороги.