Obecny neogotycki budynek na Wzgórzu Zamkowym, powstał po rozebraniu w XVIII w. ruin dawnego renesansowego zamku (ze starych zabudowań pozostała tylko romańska wieża, gotycka KaplicaTrójcy Świętej oraz fragmenty tzw. baszty żydowskiej).

Nowy obiekt funkcjonował jako więzienie, w którym obok Polaków zamykano również Żydów. Miało to miejsce  zarówno w czasie zaborów, w okresie międzywojennym, jak i przede wszystkim podczas okupacji hitlerowskiej, kiedy Gestapo więziło tu mieszkańców getta lubelskiego. Wielu więźniów zostało rozstrzelanych w masowych egzekucjach na Górkach Czechowskich oraz podczas egzekucji na zamku 22 lipca 1944 r., tuż przed wkroczeniem do Lublina wojsk sowieckich. W latach 1944-54, gdy funkcjonowało tu więzienie NKWD i UB, wśród więzionych patriotów znalazła się też grupa Żydów.

Zamek jest obecnie siedzibą Muzeum Lubelskiego.