Kasteel Nederhorst is een van oorsprong dertiende-eeuwse, omgrachte toren die in de loop van de eeuwen is uitgegroeid tot het huidige, geheel omgrachte kasteel. De huidige verschijningsvorm, een blokvormig kasteel op een nagenoeg vierkante plattegrond met op elke hoek een veelhoekige toren, is aan het eind van de zestiende eeuw / begin zeventiende eeuw tot stand gekomen. Begin achttiende eeuw hebben enkele wijzigingen plaatsgevonden, waarbij onder andere een nieuwe ingangspartij is toegevoegd. Ook is toen de formele tuinaanleg met centrale toegangslaan in de as van het kasteel tot stand gekomen.

In 1971 is het kasteel door brand verwoest, waarbij met name de verdieping en kapconstructie verloren zijn gegaan.  In 1973 is het kasteel weer in de oude verschijningsvorm opgebouwd. Hierbij zijn oude interieurelementen van elders ingevoegd (verdieping). De historische interieurs van de voorste ruimten op de beletage zijn mogelijk behouden gebleven en bij de herbouw hersteld.

Stadsherstel Amsterdam heeft het kasteel aangekocht om er 15 woonappartementen in te realiseren. Verlaan & Bouwstra architecten is aangetrokken om hiervoor het ontwerp te maken en het plan technisch uit te werken. De appartementen worden zorgvuldig in de historische structuur van het kasteel ingepast, met behoud van de oude interieurelementen. Nieuwe elementen worden zoveel mogelijk in harmonie met het kasteel toegevoegd, waarbij versterking van het historische karakter het uitgangspunt is.