In 1943 mochten Sinti en Roma het land niet meer uit. In de zomer van 1943 vestigden zich 19 Roma- en Sinti-gezinnen, waarvan 112 met 35 kinderen, in Den Haag. Dit was een aanzienlijk deel (bijna de helft) van alle Roma en Sinti die destijds in Nederland woonden. De gezinnen verhuisden naar huizen met hofjes nabij de Bilderdijkstraat en de Veenkade. Ze moesten zich als zigeuners melden bij de politie in Den Haag. De Duitsers noemden de binnenplaats het “Zigeunergetto” van Den Haag.
Op dinsdag 16 mei 1944, om vier uur 's ochtends, bonkten agenten op de deuren van de huizen op het erf. Alle 112 Sinti en Roma moesten mee. Later die dag werden ze in vrachtwagens naar station Staatsspoor (nu Den Haag Centraal Station) gebracht en per trein naar doorgangskamp Westerbork. Daar werden ze samengebracht met 143 andere Sinti en Roma die elders in het land vastzaten. Deze groep van in totaal 245 personen werd drie dagen later, op 19 mei 1944, vanuit Westerbork op transport gesteld naar Auschwitz, waar ze werden vergast of te werk werden gesteld. Na de bevrijding keerden slechts 30 volwassenen terug van de 245 gedeporteerde Roma en Sinti. In 1990 is bij de ingang van het hofje waar zij tijdens de oorlog woonden een gedenkteken geplaatst ter nagedachtenis aan de uit Den Haag gedeporteerde Sinti en Roma. Het monument staat aan de Vondelstraat, schuin tegenover de voormalige ingang van het binnenhof.
