Pałac należał niegdyś do znakomitych szlacheckich rodów. W XVI wieku w tym miejscu znajdował się renesansowy dwór rodziny Firlejów. W jego sąsiedztwie obozowała szlachta litewska podczas Sejmu Unijnego w 1569 r. 

W następnym stuleciu pałac był własnością Lubomirskich, którzy zlecili jego przebudowę niderlandzkiemu architektowi Tylmanowi z Gameren, który nadał budowli cechy barokowe. Koeljnymi właścicielami byli Sanguszkowie i Szeptyccy. W latach 1823-24 pałac został przebudowany według planów architektów Stompfa i Hempla i pełnił funkcję siedziby gubernatora. Po pożarze w 1829 r. pałac odbudowano w stylu klasycystycznym pod nadzorem Henryka Marconiego, wybidnego architekta włoskiego pochodzenia.

7 listopada 1918 r. odbyło się tu posiedzenie Tymczasowego Rządu Ludowy Republiki Polskiej.