Первый краеведческий музей был создан в 1920-х и просуществовал до 1944 года. Во время боев за освобождение города здание, где располагались коллекции, сгорело, погибли и все экспонаты. 25 декабря 2015 года музей истории города открыт в новом отреставрированном здании.
Разнообразна и интересна коллекция археологии. В ее состав входят предметы эпохи неолита, памятники культуры славян и русского средневековья, объекты из курганного захоронения, украшения, вооружение. Коллекция памятников письменности XVII–XX веков включает документы, фотографии, Евангелие 1674 года, грамоты, указы. Среди предметов изобразительного искусства имеются два рисунка Н. Рериха, подаренные наместником монастыря архимандритом А. Вороновым. Особое место в собрании занимает коллекция серебряных украшений сето. Замечательна и интересна подборка вещей советского периода (мебель, одежда, бытовая техника и многое другое).
Разнообразные коллекции позволили сформировать интересную экспозицию, раскрывающую историю города и края от эпохи неолита до настоящего времени. Выставочные залы расположены по хронологическому принципу.