En el emplazamiento de este palacio se erigía en el siglo XVI la fundición imperial, donde se producían grandes cañones, entre otras cosas. El emperador Rodolfo II (1552-1612) regaló la propiedad a su secretario de guerra de la Corte, Heinrich Nickhard, en 1603. En 1707 tenía su sede aquí la casa de préstamos fundada por el emperador José I, precursora del actual Dorotheum. Entre 1720 y 1730, un arquitecto amigo de Johann Lukas von Hildebrand reconstruyó el edificio. Finalmente, en 1788 lo adquirió el archiduque Carlos, que pidió a Louis Joseph Montoyer (1749-1811) que lo remodelara para convertirlo en su palacio entre 1801 y 1804. En 1817 nació aquí su hijo Alberto, que también se convertiría en un famoso comandante. Entre 1841 y 1847 vivió en este palacio el compositor y fundador de la Filarmónica de Viena Otto Nicolai. Hacia finales del siglo XIX, Simon Georg Freiherr von Sina (1783-1856) fue propietario de la mansión.
Este palacio, con su fachada barroca y sus balcones de rejas que dan a la calle Seilerstätte, incorporados en 1872, se transformó en 1965 en un centro cultural internacional y residencia estudiantil e, incluso, albergaba un pequeño teatro. En el año 2000 se llevó a cabo la última reconstrucción y el museo del sonido «Haus der Musik» surgió por fin.