鲁道夫二世（1552-1612）在1603年将此处产业送给其参谋海因里希·尼克哈尔德。1707年，约瑟夫一世在此建造当铺，就是如今拍卖行“Dorotheum”的前身。1720至1730年间，约翰·卢卡斯·冯·希尔德布兰熟识的一名建筑师改建了此处。

19世纪初，卡尔大公获得了这座建筑。1801到1804年经建築师路易·约瑟夫·莫拓业（1749-1811）改建成宫殿后, 他最终于1805年迁入此建筑。1817年，卡尔大公的儿子阿尔布雷希特在此诞生，长大后成为了一个著名的指挥官。

1841年至1847年间，维也纳爱乐乐团的创始人和作曲家奥拓·尼古拉在这里生活。从1838年到1856年去世，西蒙·乔治·冯·西纳男爵（1783-1856 年）—— 奥地利19世纪最重要的银行家和企业家之一 —— 为这座宫殿的房产拥有者。

这座宫殿正面是巴洛克式的装修风格，1872年安装了阳台，1965年改建成为国际艺术中心和学生宿舍，还包括一个小型剧院。2000年最后一次改建，音乐博物馆“音乐之家”落户在此。