После упразднения слободы и переноса столицы в Санкт-Петербург в начале XVIII в. Поварская улица становится элитным местом проживания аристократии. Ее жителями были сестра Петра I Наталья Алексеевна, княгиня Волконская, представители таких знатнейших фамилий как Грибоедовы, Голицыны, Барятинские, Гагарины, Сибирские, Милославские.
В начале XIX в. века на улице возник ряд примечательных зданий, многие из которых можно увидеть и в наше время: городская усадьба Долгоруковых, усадьба Гагариных, дом Шереметевых, усадьба Блудовых и др.
Среди множества дворянских усадеб, расположенных здесь, следует особое внимание уделить дому князя Андрея Долгорукова, построенному для его семейства в 1802 г. в стиле ампир. Считается, что именно этот особняк послужил прототипом дома Ростовых в романе Льва Толстого «Война и мир»