Wcześniej stała tu rezydencja Firlejów, obok której obozowała szlachta litewska podczas Sejmu Unijnego w 1569 roku. W XVII w. Lubomirscy zlecili przebudowę pałacu niderlandzkiemu architektowi Tylmanowi z Gameren, który nadał obiektowi cechy barokowe. Następni właściciele pałacu – pochodzący z Litwy Sanguszkowie - przekształcili go w latach 1829-30 w rezydencję klasycystyczną, w oparciu o projekt włoskiego architekta Henryka Marconiego.