В самом конце XVIII в. Ясенево уже принадлежало дочери одного из екатерининских статс-секретарей - княгине Анне Григорьевне Белосельской, урожденной Козицкой (1767-1846) второй жене просвещенного барина XVIII столетия, дипломата и писателя князя Александра Михайловича Белосельского (1752-1809). Среди его детей от первого брака была и знаменитая княгиня Зинаида Волконская - одна из самых красивых и образованных женщин своего времени. Но её судьба связана с усадьбой Воронцово, а сведения о приездах в Ясенево, если таковые и были, не сохранились.
С 1799 г. император Павел I, пожаловавший А.М.Белосельскому командорский крест ордена Иоанна Иерусалимского, повелел ему в память о предках именоваться князем Белосельским-Белозерским. Однако в выданной князю доверенности на получение части денег за Ясенево, купленное в рассрочку за 169 тысяч рублей самим императором, двойного написания фамилии почему-то нет. Сделка состоялась 8 февраля 1801 г. В тот же день Павел I подарил Ясенево своей фаворитке княгине Анне Петровне Гагариной, урожденной княжне Лопухиной (1777-1805) на годовщину свадьбы.
Еще во время коронации в Москве Павел I отметил своим вниманием молоденькую А.П.Лопухину. Симпатия оказалась обоюдной. Вскоре девушка была пожалована во фрейлины. Император по-рыцарски относился к предмету своего обожания. Он даже способствовал браку А.П.Лопухиной со своим тезкой князем Павлом Гавриловичем Гагариным (1777-1850), ставшим генерал-адъютантом. Императорская щедрость казалась безмерной: сто тысяч рублей, огромный, роскошно обставленный петербургский дом, бриллианты... А ровно через год к этому перечню подарков, добавилось и Ясенево.
По легенде под необычный цвет перчаток А.П.Гагариной был окрашен Михайловский замок, в котором рядом с апартаментами Павла I поместились Гагарины. В этот колер традиционно окрашивали все здания, в которых находились государственные учреждения. В трагическую ночь 12 марта 1801 г. когда в спальню императора ворвались заговорщики, дверь, ведущая к Гагариным, оказалась закрыта… После его гибели скомпрометированную чету постарались убрать от двора, назначив князя посланником при одном из европейских дворов.
Владелица Ясенева скончалась в Вене в 1805 г. Её тело было перевезено в Петербург и похоронено в Александро-Невской лавре. В надписи на надгробном камне, установленном П.Г.Гагариным она названа благодетельницей. С тех пор в характере князя, унаследовавшего Ясенево, стали проявляться различные странности. Один из родственников П.Г.Гагарина - офицер лейб-гвардии Егерского полка вспоминал, что князь жил уединенно в унаследованном от нее петербургском доме в окружении домашних животных, количество которых превосходило всем мыслимые пределы. Любовь к животным, явление благородное само по себе, будучи доведена до абсурда, превратилась в навязчивый кошмар, преследующий П.Г.Гагарина, он излечился от него лишь значительно позже, женившись на балерине М.И.Спиридоновой (известные по работам Н.М.Молевой сведения, согласно которым Ясенево якобы унаследовано им от отца - Гавриила Петровича Гагарина неверны, также как и её данные о якобы имевших место приездах в Ясенево А.П.Воейкова, Д.В.Давыдова и В.А.Жуковского).
П.Г.Гагарин оказался одним из немногих генералов, не принимавших участия в Отечественной войне 1812 г. Тогда в Ясеневе побывали французские части, выступившие из Москвы по старой Калужской дороге. "Ведомость, учиненная в Московском земском суде о владельческих селениях с показанием претерпенных ими от нашествия неприятеля разорении" показывает, что в Ясеневе ими было "отнято хлеба ржаного 3400, серого 4250 четвертей, сена 360 пуд[ов], лошадей 17, коров 30, баранов и овец 370".
В 1814 г. Ясенево купила княгиня Екатерина Сергеевна Гагарина (1794-1835), бывшая родной сестрой владельцев Черемушек Н.С. и А.С.Меньшиковых. Её муж шталмейстер князь Андрей Павлович Гагарин (ум. 1828 г.) "знаменитый своею смуглой красотою, присвоившею ему название Малек-Адиля (героя романа госпожи Cottin), избалованный женщинами…", писал о нем сенатор К.И.Фишер. Кроме того, К.И.Фишер счел нужным отметить, что А.П.Гагарин "…был добрый, обязательный и мягкий человек, в изъятие от всех Гагариных, но ветрен и сибарит". Видимо по этим причинам Ясенево не задержалось у Гагариных надолго. Уже в 1818 г. его приобрел другой представитель этого же рода - сенатор князь Сергей Иванович Гагарин (1777-1862).
Княгиня С.В.Мещерская, вспоминая свое детство в расположенной к юго-западу от Ясенева усадьбе Валуево у бабушки графини Е.А.Мусиной-Пушкиной, отметила в своих мемуарах, что "село Остафьево князя Вяземского было в 12 верстах, село Ясенево Гагариных - в 10 верстах от Валуева". Это замечание позволяет предположить взаимные приезды друг к другу в усадьбы семей Мусиных-Пушкиных и Гагариных, состоявших в достаточно близком родстве через князей Волконских. Не случайно картинная галерея, находившаяся в Ясеневе, в значительной степени состояла из портретов Волконских. Судить о ней можно в основном только по сходному по составу портретному собранию, принадлежавшем Мусиным-Пушкиным (ныне в Рыбинском историко-архитектурном и художественном музее заповеднике). По версии искусствоведа Е.В.Грамагиной оно имеет "валуевское" происхождение. В любом случае это ещё одно свидетельство о связях владельцев Ясенева и Валуева.
Некоторые ясеневские портреты были выполнены западноевропейскими мастерами: Бушарди, В.Ф.Винеманом, Жюлиеном и Митраубером. Портрет кого-то из Гагариных приписывался кисти Сальватора (Николая Ивановича) Тончи, знаменитого итальянского художника, приехавшего в Россию в свите бывшего польского короля Станислава Понятовского. Наличие его работы именно в Ясеневе вполне объяснимо. С.Тончи был женат на сестре владельца усадьбы княжне Наталье Ивановне Гагариной. Спесивые Гагарины вовсе не желали иметь такого родственника, поэтому княжне пришлось убежать со своим возлюбленным.
Подробности их романа с юмором описаны англичанкой К.Вильмот в письме сестре: "Просвещению здесь уделяется такое ничтожное внимание, что несколько тривиальных софизмов воспринимаются как черная магия. 60-летний синьор Тончи вскружил голову 29-летней княжне Гагариной, рекомендуясь как атеист и приверженец системы теней Беркли [т.е. философии английского философа Дж.Беркли - М.К.]. Он единодушно был признан вдохновенным гением: перед синьором Тончи распахивались двери всех дворцов. Я однажды видела его, он произвел на меня впечатление жулика и шарлатана. Через некоторое время он пошел к московскому архиепископу за разрешением жениться. На вопрос, какую религию он исповедует, синьор Тончи засмеялся и ответил: "Любую или никакую"! Это вызвало всеобщий ропот. Тем не менее, на следующий день он сказался православной веры и согласно этому женился. Об этом мне с омерзением сообщили четыре толстых князя. Происшедшее событие обсуждалось в течение девяти дней…".
К.Вильмот ошиблась, указывая возраст супругов Тончи: ему было всего сорок восемь, а ей двадцать восемь лет. Впрочем, очевидно, что княжна, по меркам той эпохи засиделась в девицах, и выйти замуж ей было более чем проблематично. Её же избранник увидел в предстоящей свадьбе очередную возможность поиздеваться над своими потенциальными заказчиками - родовитыми русскими аристократами.
Одно из самых примечательных событий, произошедших в Ясеневе при С.И.Гагарине, состоялось 9 июля 1822 г. Тогда в ясеневской церкви в присутствии семьи владельца, а также соседних помещиков графов Толстых и князей Трубецких, приехавших из усадеб Узкое и Знаменское-Садки, венчались их родственники: граф Николай Ильич Толстой (1795-1837) и княжна Мария Николаевна Волконская (1790-1830). В Центральном историческом архиве г. Москвы сохранилась метрическая книга с записью об этом событии: "Женился Московского военносиротского отделения смотритель подполковник граф Николай Ильич Толстов [так в тексте - М.К.] 1-м браком, понял за себя дочь генерал[а] от инфантерии князя [Н.С.]Волхонскаго [т.е. Волконского - М.К.] Марию Николаеву, о ко[е]й надлежащий обыск за поручителей чинен был. Венчание вершили: иерей Иоанн Александров, диакон Георгий Тимофеев, дьячок Никифор Алексеев". Новобрачные отправились проводить медовый месяц в Тульскую губернию, где находилось имение Ясная Поляна, впоследствии получившее мировую известность благодаря одному из их сыновей - писателю Л.Н.Толстому. В его романе-эпопее "Война и мир" использованы факты из биографий родителей и других родственников, ставших прототипами литературных героев.
Как "образцовый хозяин", смело вносивший в практику земледелия новые агротехнические приёмы С.И.Гагарин ввел в Ясеневе плодопеременную систему разбивки садов, что позволило повысить их урожайность, и устроил образцовую ферму для разведения тонкорунных овец (в 1844 г. после смерти владельца Узкого графа П.А.Толстого он был избран президентом Императорского Московского общества сельского хозяйства). "Ко мне лично князь Сергей Иванович и супруга его, княгиня Варвара Михайловна, рожденная Пушкина [(1776-1854) - М.К.], были всегда очень добры и благосклонны; я бывал неоднократно в подмосковном имении князя селе Ясеневе, в восемнадцати верстах от Москвы, - вспоминал историк граф М.В.Толстой. - Это село замечательно по прекрасному саду и оранжереям с лучшими сортами плодовых деревьев, а еще более по древесным насаждениям, разведенным самим князем на многих десятинах. Князь, как искусный и опытный садовод, умел приохотить и ясеневских крестьян к садоводству. В первый приезд мой в Ясенево я был изумлен, видя на крестьянских полях не рожь и овес, а клубнику лучших сортов, малину, смородину и прочее, а на обширных пространствах вместо тощих нагорных лугов - яблони, груши, вишни и множество других деревьев и кустарников. Все это поступает в продажу в Москве".