На Ильинской слободе находятся белокаменные древнерусские палаты Афанасия Олисова, построенные ещё в XVII веке. В те времена фамилия Олисова служила для горожан синонимом состоятельности и богатства. Честолюбивый человек Афанасий Олисов в 1666 году стал таможенным главой города. А два года спустя известным поставщиком хлеба в Москву. Когда Олисова назначили доверенным лицом правительства, он поехал в Астрахань, заведовать рыбным и соляным промыслом. Вернувшись в Нижний Новгород, он пробыл дома лишь год, за который успел стать земским старостой. Затем Олисова вновь назначили управляющим дворцовыми промыслами.
