По инициативе иркутского губернатора Франца Клички, который призвал местных купцов пожертвовать средства на строительство музея, был основан музей “Азиатской России Музеум”. В строительство здания вложились купцы Мельниковы, Дударовские, Медведниковы, Трапезниковы, Баснины, Сибиряковы и Бутины. Организаторами и главными учредителями музея и библиотеки стали корреспондент Академии наук натуралист Александр Карамышев, ведавший библиотекой, и почетный член Академии наук Эрик Лаксман.

«Дворец сразу затмил своей ослепительной роскошью городские особняки. Обращенный к Ангаре фасад трехэтажного здания выделен шестиколонным портиком коринфского ордера. Горделиво приподнятый на уровень двух верхних ярусов, он выдержан в лучших традициях и служит главным украшением фасада…» «Дворец достойно представляет на иркутской земле стиль русского классицизма…»

После смерти владельца дома купца Ксенофонта Михайловича Сибирякова в 1825 году финансовые дела семейства постепенно ухудшались, и в 1837 году «сибиряковский дворец» был приобретен в казну для резиденции генерал-губернаторов Восточной Сибири. Первым занял дом генерал-лейтенант Вильгельм Яковлевич Руперт (1837-1847 гг.) в январе 1838 года. Каменная ограда с чугунной решеткой установлена вскоре по завершении строительных работ по самому дому, по обе стороны главного фасада были устроены ворота с чугунными полотнами, а на массивных пилонах ворот красовались фигуры дремлющих львов. Здание служило резиденцией генерал-губернаторов Восточной Сибири с января 1838 года по март 1917 года, за это время в доме сменилось тринадцать Главных начальников края. В октябре 1918 года в помещениях дома начались занятия на юридическом факультете только что открытого Иркутского университета. С 1939 года в нем помещается Научная библиотека университета.