In 1972 zijn bij Holten de fundamenten blootgelegd van dit kasteel. De restanten liggen ten oosten van het dorp bij het kruispunt van de weg naar Markelo en de weg naar Rijssen.

Het Huis te Holten, zoals het ook wel werd genoemd, werd gesticht als onderdeel van de verdedigingslinie van Salland van de bisschop van Utrecht. Het lag op de splitsing van 2 belangrijke handelswegen en vormde de laatste schakel in de Zuid-Sallandse landweer, aangelegd op initiatief van Deventer, bedoeld als bescherming tegen roof en plundering, vooral vanuit het hertogdom Gelre. 

De landweer bestond uit een stelsel van grachten en wallen die vaak met doornstruiken beplant waren. In deze landweer waren op regelmatige afstanden versterkingen gebouwd. De kastelen Arkelstein en Waerdenborch waren hiervan de belangrijkste. De handelsweg uit Deventer bezat bij Holten de enige doorgang en daar moest tol betaald worden aan de kastelein van de Waerdenborch.

Al in 1380 is het kasteel platgebrand, maar in 1382 werd het door de burgers van Deventer herbouwd. Op 1 mei van dat jaar kwam de eerste bekende kastelein, Willem van der Maze op het kasteel aan. Het Huis te Holten kreeg zijn officiële naam: Waerdenborch.

Het kasteel was waarschijnlijk vrij klein, en bisschop Frederik van Blankenheim achtte het niet sterk genoeg. In 1401 verpachtte hij het daarom aan Gerrit Borre, voor een termijn van 32 jaar. Borre was schout en rentmeester van het land van Vollenhove. Een van de voorwaarden was dat het kasteel versterkt moest worden. Tot in het midden van de 15e eeuw werden aanzienlijke bedragen uitgegeven voor verbouwingen en versterkingen.

Tussen 1529 en 1531 werd het kasteel afgebroken, waarschijnlijk omdat het na de overdracht van het wereldlijk gezag in het Sticht door de bisschop aan Karel V geen functie meer had.

Na opgravingen in 1972 bleek het volgende:
De kasteelgracht was 20 meter breed geweest en 3 meter diep.
De ommuring vormde een onregelmatige rechthoek van 25 bij 30 meter.
De muren waren 1,50 meter dik.

Het zware poortgebouw bevond zich in de poortmuur. Op de zuidoostelijke en zuidwestelijke hoeken staken 2 vierkante torens in de gracht uit.