Дом Ершова, построенный в 1680-е годы, является выдающимся примером древнерусского посадского зодчества в Гороховце. Он был заказан купцом Семеном Никифоровичем Ершовым и выделяется среди одноэтажной застройки благодаря своему трехэтажному строению и высокому забору с дубовыми воротами. Которые являются одним из немногих сохранившихся образцов древнерусской архитектуры. В 2013 году ворота были успешно отреставрированы.
Архитектурный декор дома отражает местные традиции, включая резные наличники окон, которые отличаются по оформлению в зависимости от функционального назначения этажей. Первый этаж имел простые окна, тогда как второй этаж был более парадным с богатым декором. Третий этаж, заменивший деревянный, был жилым и имел большие окна для лучшего освещения. К дому примыкало резное крыльцо, которое играло важную роль в встречах с гостями.
С течением времени дом менял владельцев, среди которых были купцы Ширяевы и Сапожниковы. С 1918 года он стал памятником архитектуры XVII века и сейчас используется как часть Историко-архитектурного музея в Гороховце, где проводятся выставки и мастер-классы, направленные на сохранение и популяризацию истории купеческих палат.
