Raadpensionaris Johan de Witt woonde op de Kneuterdijk van 1669 tot aan zijn gewelddadig overlijden in 1672. Het huis werd oorspronkelijk opgeleverd in 1655. Dat het 'not done' was om te lopen blijkt uit het feit dat Johan zijn broer per koets in de Gevangenpoort, 20 meter verderop, bezocht. Om de bijgebouwen en de tuin was een muur, waarvan in de Hartogstraat nog een deel te zien is. Sinds 1980 is het gebouw in het bezit van de Staat der Nederlanden en wordt het gebruikt voor representatieve doelen. In 2017 werd het pand gebruikt voor onderhandelingen bij de formatie van een nieuw kabinet.
