В городе Пензе было много разных улиц с красивыми названиями. Среди них была и улица Садовая – современная Лермонтова.

Начиналась улица Садовая с южной стороны Соборной площади, а еще ранее – прямо за крепостью, да и улицей ее назвать в то время было невозможно. Долгое время здесь располагался пустырь, на котором пасся скот местных жителей.  Будучи заполненным талыми водами, ставший ненужным крепостной ров притягивал водоплавающую птицу, скот и сделался вместилищем всякой прудовой живности в том числе и пиявок. На реализации последних в разные города России, а также заграницу был построен целый бизнес.

Вот и существовала эта практически деревенская идиллия прямо напротив Губернаторского дома, Спасского собора и рядом с Присутственными местами, пока в 1837 году на это обстоятельно не обратил внимания будущий царь Александр II. Именно он предложил разбить здесь городской сквер, получивший впоследствии название «Нижнее гуляние» и ставший излюбленным местом для гуляния горожан.

В 1839 году сквер был открыт для посещения публики, а в 1842 году здесь был сооружен фонтан, сохранившийся и поныне.

17 мая 1891 году в сквере «Нижнее гуляние» состоялось открытие памятника М.Ю. Лермонтову.

Также в сквере располагался ресторан «Товарищества Пензенских пивоваренных заводов». В начале 1960-х гг. ресторан сгорел во время пожара, пережив Спасский собор на 30 лет. Впоследствии на его месте был построен павильон «Парус».

Очень интересен рассказ В. Самсонова  в его книге «Подземные тайны» о его исследованиях, проводимых в 1986 — 1987 годах: «В этот период СМУ-23 прокладывало водопровод в самой древней части города — в районе Советской площади и Лермонтовского сквера. Безусловно, место, где когда-то стояла крепость, откуда берет начало наш город, не могло оставить нас безучастными. К тому же в сквере сохранилась подземная часть разрушенного собора. Наши ожидания оправдались.

В траншее глубиной более двух метров обнажились четыре склепа аркообразной формы. В одном из них покоились останки бородатого мужчины в позолоченной парчовой одежде. К сожалению, почти все находки были безжалостно расхищены.  Строители, несмотря на наши неоднократные просьбы, своевременно об отбытии склепов никого не оповещали. По дошедшим до нас слухам из склепов пропали парчовая одежда, серебряный крест, старинная книга в кожаном переплете, медная пряжка. В руки работавшего тогда корреспондентом «Пензенской правды» Владимира Федорова попал лишь обрывок грубо разорванной кем-то парчи. Краевед В.В. Дружинин предполагает, что в одном из склепов захоронен отец Иннокентий, скончавшийся в шестидесятых годах прошлого столетия, довольно известный в церковных кругах религиозный деятель. В остальных склепах, считает краевед, захоронены тоже религиозные деятели Евлампий и Евлампия. К нашему огорчению, поиски подземного лаза около склепов не увенчались успехом.

Но у фонтана в Лермонтовском сквере траншея преподнесла сюрприз. Чугунный фонтан, построенный в 1863 — 1867 гг., — единственное сооружение из уникального архитектурного комплекса взорванного в тридцатые годы кафедрального собора, уцелевшее до наших дней. Неподалеку мы увидели выложенный кирпичом аркообразный тоннель. Он находился неглубоко — на глубине одного метра от поверхности. Ширина тоннеля не превышала метра. Подземный ход тянулся в юго-западном направлении, примерно в сторону памятника М. Ю. Лермонтову и где-то через десять метров оказался сильно затянутым илом. Нас удивило редкое зрелище: в тоннеле с потолка свисали сталактиты. Слева зиял ход в небольшое (2x3 метра) помещение с кирпичными стенами. Оно расположено под фонтаном. Очевидно, из этой комнатки производилась регулировка «самотечного»  фонтана XIX века».

В связи с тем, что Пенза расширялась преимущественно в северном направлении, тяготея к Базарной площади, земельные участки, расположенные вдоль новой улицы Садовой раскупались и соответственно застраивались медленно. Одним из первых на этой улице построил каменный дом декабрист Горсткин (дом №4), после дома лесничего (дом №2). Этот дворянский особняк, построенный в середине XIX века, располагается на террасе склона углового участка  на углу Садовой и Верхне - Покровской (современная  ул. Калинина).

Южную часть усадьбы занимал фруктовый сад, вдоль северной границы стоял каменный дом. К западу от него находились каменная ограда с воротами и калиткой – здесь располагался проезд на обширный хозяйственный двор со служебными постройками, через который можно было пройти в сад. В настоящее время сохранился главный дом, ограда, перестроенный бывший каретный сарай.

Кирпичный, двухэтажный особняк, построенный покоем,  возведен по линии застройки улицы. Два крыла, выходящие во двор, пристроены в 1880 г.г., также изменено убранство. Первый этаж отводился под хозяйственные помещения, хорошо освещенный второй этаж имел анфиладу  по главному фасаду.

В советское время до 1977 года здесь размещался интернат для глухих, а после - станция юных техников. В настоящее время – Центр развития детей и юношества.

Следующая усадьба упоминается еще в апреле 1819 года. Тогда дом был деревянным на каменном фундаменте, имел на усадьбе 2 флигеля и забор с каменными столбами. В то время эта усадьба принадлежала Петру Андреевичу Габбе, участнику Отечественной войны 1812 года, литератору, хорошему знакомому поэта П. А. Вяземского.

В 1836 году его покупает и перестраивает на старом фундаменте Иван Николаевич Горсткин, который привлекался впоследствии по делу декабристов и был заключен в Петропавловскую крепость в июле 1826 года и сослан в Вятку. С июля 1827 года ему было разрешено жить в своем имении в с. Голодяевке (ныне с. Междуречье Каменского района Пензенской области), а с 1828 года – в г. Пензе. С 1848 года в здании бывшего крепостного театра Г. Гладкова (здание не сохранилось) Горсткин устроил свой театр, сыгравший большую жизнь в культурной жизни города (располагался на месте жилого дома с магазином «Дон»).

В 1846 году дом был продан Елизавете Ивановне Араповой, жене майора Андрея Николаевича Арапова, а в  1874 году здание перешло к их детям.

5 мая 1875 года дом был куплен Государственным банком для своего пензенского отделения. В 1913 году здесь, в квартире управляющего банком М. Н. Рудзевича – лучшего шахматиста города, располагавшейся в восточной части здания, играл в шахматы выдающийся русский шахматист, чемпион мира (1927–1935, 1937–1946) А. А. Алехин. После революции в здании находилась биржа труда. В настоящее время  - отделение №4 УВД по г. Пензе.