Дворец возник в XVIII в. в качастве шляхетской резиденции. В первой половине XIX в. першел в руки царской власти и был штаб-квартирой военного начальника люблинской губернии.

Близстоящий нынешний Консисторский дворец в 1817-22 гг. принадлежал масонской  ложи "Восстановленная свобода". В следующие годы он стал штаб-квартирой криминального суда. С 1852 г вместе с  Епископским дворцом стал собственностью епископской курии. Весь комплекс перестраивался несколько раз. В 1996 г. перед зданием Консисторского дворца был воздвигнут памятник примасу Стефану Вышинскому – люблинскому епископу в 1946-49 гг.