На протяжения своего существования дворец принадлежал многим знаменитым семьям. В XVI в. здесь существовала ренессансная усадьба семьи Фирлеев.

Потом она перешла к Любомирским, которые, благодаря  знаменитому фламандскому архитектору  Тыльману из Гамерен, перестроили его в барочный дворец. Очередными владельцами дворца были, наприпер, семья Сангушков и Шептицких. В 1829 г. вспыхнул пожар, после которого здание было восстановлено в стиле классицизма при участии Хенрика Маркони – известного архитектора итальянского происхождения. Именно в этом дворце 7 ноября 1918 г. заседало  новосозданное Временное народное правительство Польской Республики. О событии сообщает таблица, висящая у главного входа. В настоящее время в здании помещается Факультет политологии Университета Марии Склодовской-Кюри.