Ngay sau khi chỉnh trang xong không gian quanh Hồ Gươm, chính quyền thuộc địa quy hoạch phía Đông từ hồ ra sông Hồng thuộc các thôn Yên Trường, Hà Thanh, Bảo Linh để chia thành nhiều ô hình chữ nhật để xây dựng các cơ quan của thiết chế hành chính và quản lý thành phố. 

Không gian giới hạn bởi các phố Garnier (Đinh Tiên Hoàng), Balny (Trần Nguyên Hãn), Courbet (Lý Thái Tổ) và Dominé (Lê Lai) trên đó có chùa Phổ Giác được sử dụng để xây Toà thị thính (còn gọi là Toà Đốc lý) cơ quan hành chính của Hà Nội, Kho bạc, Nhà Xéc (Cercle) nơi quy tụ giới thượng lưu sinh hoạt giải trí và cả Nhà Lục xì (nơi kiểm tra y tế gái làng chơi trong thành phố). Không gian hình chữ nhật liền kề là vườn hoa và tiếp theo là  không gian xây dựng Bưu điện, Phủ Thống sứ...

Toà Đốc lý hoàn thành năm 1887 có kiến trúc cổ điển phù hợp với chức năng hành chính một thành phố với các cơ quan thuế quan, giao thông công chính, địa chính, hộ tịch... với hai cổng hướng về Bờ Hồ và Vườn hoa Paul Bert (nay là Vườn hoa Lý Thái Tổ). Sau này có một số thay đổi về kiến trúc với tên gọi là Toà Thị chính.
 

Tòa Đốc lý: Cửa phía vườn hoa

Tòa Đốc lý: Cửa phía Hồ

Cổng Tòa Thị chính sau này.

Dương Trung Quốc