Pierwotnie mieściła się tu plebania kościoła pw. św. Michała Archanioła. Budynek został wzniesiony na początku XVII wieku w miejscu dawnej plebanii, która spłonęła podczas wielkiego pożaru miasta w roku 1575. W budynku zachowały się polichromie pochodzące z XVII i XVIII wieku. Po rozebraniu kościoła farnego w 1853 roku, władze carskie skonfiskowały majątek i budynek przeszedł na własność Skarbu Państwa.

W 1870 roku został przekazany Gminie Wyznaniowej Żydowskiej. Mieścił się tu Żydowski Dom Sierot tzw. "Ochronka" oraz sala schronienia dla żydowskich starców i kalek. 24 marca 1942 roku, podczas likwidacji getta, wychowankowie sierocińca, opiekunki oraz starcy zostali zamordowani przez Niemców. Wydarzenie to upamiętnia tablica pamiątkowa na budynku. Po II wojnie światowej budynek pełnił funkcję domu starców, a następnie domu dziecka. Obecnie jest siedzibą Młodzieżowego Domu Kultury „Pod Akacją”.