Проект пожарной части был утверждён уже на заседании Городской Думы 19 сентября 1890 г. Автором комплекса, состоящего из пожарной и полицейской частей, был городской архитектор Фердинанд Августович Гаген. На строительство комплекса направлялось 25 000 рублей из ссуды. выделенной МВД, а ещё 10 000 рублей было выделено из городского бюджета на покупку лошадей и пожарного инвентаря. В выборе места городские власти полностью поддержали губернатора, выделив под строительство земельный участок рядом с Тюремным замком, размерами 34,10 саж. (72,60 м.) по современной улице Юрия Савченко и 43,10 саж. (91,80 м.) по современной улице Комсомольской.
Строительство нового городского комплекса было окончено в 1892 году. Первоначально он состоял из нескольких кирпичных зданий: двухэтажной пожарной части с каланчой и пристроенными одноэтажными конюшнями, одноэтажной казармы городовых, одноэтажного здания для содержания арестантов, одноэтажной конюшни, деревянных обложенных кирпичом зданий конюшни, дровяного сарая и сарая для сена и полностью деревянных служб и ограды.
Первоначально здесь разместились 2-я пожарная и 2-я полицейская части Екатеринослава. Но уже через несколько лет при реформировании административного устройства города 2-я полицейская часть была перемещена на улицу Петербургскую. Её помещения по Тюремной площади были заняты вновь созданной 4-й полицейской частью. Соседство 4-й полицейской части с Тюремным замком сделало её самой известной из полицейских частей города. Из-за небольших и явно несоответствующих бурным временам размерам тюрьмы полицейскую часть время от времени использовали в качестве её филиала. Именно таким образом в 1902 г. здесь оказался известнейший революционер Иван Бабушкин. При помощи Екатеринославского искровского комитета РСДРП в ночь на 29 июля 1902 г. И. Бабушкин, прихватив товарища по камере, студента Горовица, бежал из заключения. А 4 сентября 1909 г. во дворе полицейской части было проведено очень необычное для дореволюционного Екатеринослава действо – казнь руководителей Горловского восстания в декабре 1905 г. Всего было повешено 8 человек. В первой половине 1910 г. 4-я полицейская часть была переведена на Полевую улицу, а её помещения переданы пожарной части. Пожарная часть, которая с 1909 г., как более современная, носила №1, использовала служебные корпуса полицейской части по их прямому назначению, а корпус с камерами перестроила под семейное общежитие для пожарных.
В 1917 г. 1-я пожарная часть служила одним из штабов и казармой войск УНР. Именно здесь, когда отряд красногвардейцев внезапной атакой захватил гараж и стоящий в нём бронеавтомобиль, состоялся первый бой декабрьского большевистского восстания. В ходе дальнейших событий пожарная часть почти не пострадала и даже не прекращала своей работы.
В начале 1920-х гг. у пожарной части полностью отобрали помещения бывшей 4-й полицейской части, в которых разместился гараж Губисполкома, ставший позднее гаражом Окрисполкома, а затем и Облисполкома. В 1970-е гг. все старые здания гаража были снесены, и на их месте выстроен новый корпус, в котором гараж Облгосадминистрации продолжает работу и сегодня. Пожарная часть, которая с 1930-х гг. снова получила №2, также продолжает свою работу.
Старостин В.С. Дом Городского общества на Тюремной площади // Недвижимость в движении. 2008. № 230.