Die Anfänge
Im 12. Jhdt befand sich in Waidhofen ein kleine Burganlage, über deren Größe man wenig weiß. Herrschaftszentrum für den Besitzkomplex im Ybbstal, den sowohl die Bischöfe von Freising als auch die Grafen von Peilstein beanspruchten, war die Burg Konradsheim. Bis heute dokumentiert das Mohrenwappen die enge historische Beziehung zu Freising.
Nach der Zerstörung der Burg Konradsheim 1360 durch Herzog Rudolf von Habsburg, wurde diese nicht wieder aufgebaut. Das Verwaltungszentrum wurde nun in Waidhofen errichtet, das durch den Eisenhandel bereits eine bedeutende Stadt geworden war.
Um 1400 befestigte Bischof Berthold von Wehingen Stadt und Burg nach dem neuesten Stand der Technik. Die Burg wurde auf die Länge von 40 m und der Bergfried mit 9 Stockwerken ausgebaut.