1943 durften Sinti und Roma nicht mehr ausreisen. Im Sommer 1943 ließen sich 19 Roma- und Sinti-Familien, davon 112 mit 35 Kindern, in Den Haag nieder. Dies war ein beträchtlicher Teil (fast die Hälfte) aller Roma und Sinti, die sich zu dieser Zeit in den Niederlanden aufhielten. Die Familien zogen in Häuser mit Hof in der Nähe von Bilderdijkstraat und Veenkade. Sie mussten sich bei der Polizei in Den Haag als Zigeuner melden. Die Deutschen nannten den Hof das „Zigeunerghetto“ von Den Haag.
Am Dienstag, dem 16. Mai 1944, um vier Uhr morgens, hämmerten Agenten an die Türen der Häuser im Hof. Alle 112 Sinti und Roma mussten mitkommen. Später an diesem Tag wurden sie in Lastwagen zum Bahnhof Staatsspoor (heute Hauptbahnhof Den Haag) und mit dem Zug in das Durchgangslager Westerbork gebracht. Dort wurden sie mit 143 anderen Sinti und Roma zusammengebracht, die anderswo im Land inhaftiert waren. Diese Gruppe, insgesamt 245 Personen, wurde drei Tage später, am 19. Mai 1944, von Westerbork nach Auschwitz deportiert, wo sie vergast oder zur Arbeit gebracht wurden. Nach der Befreiung kehrten von den 245 deportierten Roma und Sinti nur 30 Erwachsene zurück. 1990 wurde am Eingang des Hofes, in dem sie während des Krieges lebten, ein Denkmal zum Gedenken an die aus Den Haag deportierten Sinti und Roma errichtet. Das Denkmal befindet sich in der Vondelstraat, schräg gegenüber dem ehemaligen Eingang zum Innenhof.