Зграда у којој је смештен Историјски музеј Србије подигнута је као палата Привилеговане аграрне банке у периоду од 1932. до 1934. године. Својом монументалношћу и раскошним архитектонским решењем, ова грађевина представља једно од највреднијих остварења међуратне српске архитектуре. Како је главни задатак Привилеговане аграрне банке био да повољним кредитима и зајмовима помогне народну пољопривреду и тако оснажи државну економију, подизање монументалног репрезентативног објекта у центру града имало је за циљ да укаже на поузданост фондова банке и моћ државе као њеног оснивача. Конкурс за израду идејног решења који је расписан 1931. године био је један од најважнијих градитељских такмичења тог времена. Пристигли радови архитеката из целе Краљевине Југославије показали су широки спектар градитељских и стилских идеја, почев од застарелих академских традиција све до прогресивних идеја у распону од умереног до прочишћеног модернизма и естетике функционалне архитектуре. Стога се и овај конкурс сматра једним од важнијих показатеља динамичних струјања у српској и југословенској архитектури међуратног периода.
Прилику да реализују свој пројекат добили су београдски архитекти Петар и Бранко Крстић. Њихов конкурсни пројекат је био трећенаграђен, али је Управни одбор Банке имао веће симпатије за њихово решење него за пројекте који су освојили прву (Едо Шен) и другу награду (Стјепан Хрибар). Конкурсно решење браће Крстић је било у духу умереног модернизма у стилу арт декоа, чији је строги геометријски дизајн фасадног платна био обогаћен орнаменталним детаљима приземља са акцентом на монументалном, декоративно обрађеном порталу. Крстићи су извели укупно три варијанте идејног решења зграде: поменути конкурсни рад, други у духу академске традиције и трећи, финални, који представља успешан спој модернизма и традиције, по којем је палата на крају и изведена. Инвеститорима и њиховој замисли о репрезентативности очигледно није одговарала редукција орнамента награђеног решења. Излазећи у сусрет њиховим захтевима за класичном обрадом фасаде, Крстићи су у изведеном дизајну прибегли модерној интерпретацији неокласицизма, осмисливши оригиналну монументалну, декоративну и савремено стилизовану фасаду чиме је ова грађевина постала један од значајнијих примера београдског арт декоа. Сами архитекти су ову грађевину сматрали својим најбољим остварењем.
Први део радова је изводила фирма Славковић и Савчић, а спољну архитектуру од беловодног пешчара Јошаница а.д. О амбицијама инвеститора говори и податак да је ово било једно од ретких јавних здања у Београду чија је фасада изведена у правом, уместо у тада уобичајеном вештачком камену. Скулпторалну декорацију палате су извели Бранко Крстић и Лојзе Долинар, а изузетно сложени украс од кованог гвожђа на порталу и прозорима у приземљу извео је Миленко Ђорђевић.
Фасадну пластику чини репертоар цитата из класичне традиције – акротерије, триглифе и метопе које надвисују дорску колонаду стубова, а рељефни украс обухвата композицију Орач над главним улазом и у метопама наизменично постављене медаљоне са главом Меркура и мушких и женских глава са класом и српом. Меркур је као антички бог трговине, путовања и комуникација у међуратној култури био препознат и као симбол модерног доба, и уз симболичне фигуре као персонификације пољопривреде и плодности, читава декорација је наглашавала идеју богатства, плодности, среће и посредништва везаних за рад Банке и вредности које је промовисала. Евокација античке уметности на декорацији од кованог гвожђа, кроз декоративне елементе попут лотосовог цвета и меандра, иначе омиљене у арт декоу, имала је исто симболично значење. Ова значења је требало да буду саопштена и на монументалан начин, у виду две колосалне мушке и женске фигуре – симболичне персонификације земљорадње и благостања, које би фланкирале улазни портал. Иако су подигнута постоља, ове фигуре никад нису биле изведене.
Ефекат раскоши је присутан и у ентеријеру додатно истакнут сведеним и прочишћеним решењем улазног степеништа у централни хол Банке, одакле се степеништем ишло на спрат, где су се налазиле канцеларије и кабинет директора Банке и доле у трезор, док су у бочним лучним фронтовима биле шалтерске просторије.
Зграда је тешко страдала у Другом светском рату, па се после његовог завршетка приступило реконструкцији ентеријера као и обнови других оштећења. После рата се Централни комитет Комунистичке партије Југославије уселио у зграду и том приликом је предузета и доградња четвртог спрата (решење браће Крстић). Зграда је убрзо добила културне и научно-образовне садржаје. Од 1960. године у делу зграде је био смештен Музеј револуције југословенских народа и народности, који је од 1996. године постао део новооснованог Музеја историје Југославије. Од 2006. године у зграду се смешта Историјски музеј Србије. Репрезентативно приземље зграде је изложбени простор Музеја, док су некадашњи трезори Аграрне банке претворени у музејски депо.