Христорождественский собор находится на высоком берегу реки Клязьмы неподалёку от Спасо-Преображенского собора, не доезжая двух перекрестков, если выезжать из города по главной улице к мосту через Клязьму дорогой на Шую. Если въезжать в город со стороны Шуи по тому же мосту через Клязьму, то он правее Спасо-Преображенского собора из красного кирпича.
Об основании Рождественской церкви существует предание. По легенде в канун Рождества, в этих местах заблудился князь Андрей Боголюбский. Возвращаясь из Суздаля к Стародубу, он сбился с пути и не знал, как выбраться из леса. День был вьюжный и морозный. Уже начинало темнеть, когда вдруг вдалеке он увидел слабый огонек. Это горела лучина в избушке зверолова Елифана. Князь заночевал в избушке, а на следующий день в честь своего спасения приказал построить в этой деревне церковь. В память об этом событии поставили деревянную церковь, а так как произошло оно в канун Рождества, то храм освятили в честь Рождества Христова. В конце XVII в. вместо деревянного возвели каменный храм.
В 1837 году в Христорождественской церкви присутствовали при совершении молебна цесаревич Александр Николаевич, будущий император Александр II и его наставник поэт В.А. Жуковский. В 1870 году церковь была расширена и получила статус собора. К тому времени появилась «сторожка» и ограда с воротами.