Трехэтажный военно-губернаторский дом начал строиться в 1837 г. и закончен в 1841 г. Его архитекторами были П.Д. Гофман и И. Е. Ефимов. Надзор за работами осуществлял А.Л. Леер до 1838г. а после работы продолжили архитекторы А.И. Шеффер и А.Е. Турмышев. Архитектура его проста, главные фасады его обращены: южный — к собору, а северный с террасой — в сад. Нижний этаж этого дома занимался начальником губернии; во втором находилась императорская квартира, столовая, гостиная, кабинет, спальни, уборная, ванная, буфет и еще нескольких комнат. Все эти комнаты были отделаны и меблированы роскошно и с большим вкусом. Третий этаж был занят жилыми комнатами и церковью Святого Духа, которая была устроена в зале, выходящем на северо-восточный угол дома. Она была освящена 18 сентября 1845 года; преосвященный Иоанн, епископ Нижегородский и Арзамасский совершал в ней первую литургию.
В 1852 году к западному фасаду военно-губернаторского дома был пристроен зимний сад; в нем посреди деревьев и растений из южных стран были устроены грот и фонтан. С восточной стороны дома, у самой кремлевской стены, находится каменный двухэтажный флигель и такие же службы, а с южной — здание для главной гауптвахты. От дома к гауптвахте и флигелю шла красивая железная решетка, поставленная на каменном цоколе. Сад, принадлежащий к военно-губернаторскому дому, раскинутый по горе, спускался от самого дома к северной стене кремля. Он и сейчас занимает в длину все пространство от Георгиевской башни до Ивановских ворот.
История дворца генерал-губернатора в Нижегородском кремле связана с именами знаменитых исторических персонажей. План его расположения собственноручно начертил император Николай I, а во время своего визита в Россию дворец посетил французский писатель Александр Дюма-отец.
Ныне в здании размещается Художественный музей.
