In de Late Middeleeuwen lag hier een uitgestrekt vismeer. In de omgeving van dit meer stonden enkele versterkte huizen. Op slechts 150 meter van het meer, op de plek waar je nu staat, stond het huis Oud Heemstede (Nieuw Heemstede bestaat nog, en staat aan de overkant van het Amsterdam-Rijnkanaal in de gemeente Houten). Kasteel Oud Heemstede is vermoedelijk rond 1400 gebouwd. Tijdens archeologisch onderzoek in 1950 zijn de oude baksteenfundamenten van het kasteel aangetroffen. Het kasteelterrein bestond uit een rechthoekige gracht van 75 bij 70 meter met een binnenterrein. Op dit binnenterrein was een heuvel aangebracht, waar bovenop de woontoren stond. De woontoren zelf was vierkant, 7 bij 7 meter, en drie verdiepingen hoog. Aan de gevlochten heg in dit gebied kun je nog afzien waar het kasteel precies gestaan heeft.