El emperador Rodolfo II (1552-1612) regaló la propiedad a su secretario de guerra de la Corte, Heinrich Nickhard, en 1603. En 1707 tenía su sede aquí la casa de préstamos fundada por el emperador José I, precursora del actual Dorotheum. Entre 1720 y 1730, un arquitecto amigo de Johann Lucas von Hildebrandt (1668-1745) reconstruyó el edificio.

El archiduque Karl adquirió este edificio en 1805, el cual fue remodelado por  Louis Joseph Montoyer (1749-1811) y transformado en un palacio entre 1801-1804. En 1817 nace aquí su hijo Albrecht, quien también sería un famoso general. 

De 1841 a 1847 vivió en este palacio Otto Nicolai compositor y fundador de la Filarmónica de Viena. Desde 1838 hasta su muerte en 1856, Simon Georg Freiherr von Sina (1783-1856), uno de los banqueros y empresarios más importantes del siglo XIX en Austria, fue el dueño de esta propiedad.

Este palacio, con su fachada barroca y sus balcones de rejas que dan a la calle Seilerstätte, incorporados en 1872, se transformó en 1965 en un centro cultural internacional y residencia estudiantil e, incluso, albergaba un pequeño teatro. En el año 2000 se llevó a cabo la última reconstrucción y el museo del sonido Casa de la Música («Haus der Musik») surgió por fin.