Finalmente, en 1805 lo adquirió el archiduque Carlos, que pidió a Louis Joseph Montoyer (1749-1811) que lo remodelara para convertirlo en su palacio entre 1801 y 1804. En 1817 nació aquí su hijo Alberto, que también se convertiría en un famoso comandante.

Entre 1841 y 1847 vivió en este palacio el compositor y fundador de la Filarmónica de Viena Otto Nicolai.

Hacia finales del siglo XIX, Simon Georg Freiherr von Sina (1783-1856) fue propietario de la mansión.
Este palacio, con su fachada barroca y sus balcones de rejas que dan a la calle Seilerstätte, incorporados en 1872, se transformó en 1965 en un centro cultural internacional y residencia estudiantil e, incluso, albergaba un pequeño teatro. En el año 2000 se llevó a cabo la última reconstrucción y el museo del sonido «Haus der Musik» surgió por fin.