Der Verfall

Säkularisierung und Mediatisierung der napoleonischen Zeit beendeten Anfang des 19. Jahrhunderts die Herrschaft des Hochstifts Freising über „Bayrisch Waidhofen“. Schloss und Herrschaft fielen an die österreichische Staatsherrschaft. Geblieben ist das Mohrenwappen, des Freisinger Hochstifts.

Das Schloss, das schon in einem sehr baufälligen Zustand war, wechselte mehrmals die Besitzer, ohne jedoch entsprechend renoviert zu werden. Bei diversen Umbauten 1868 wurde das Pultdach am Bergfried entfernt und die unteren Verliese des Turms, in denen noch Folterinstrumente und Gebeine lagen, zugeschüttet. Die ybbsseitig gelegene Burgkapelle stürzte in den Fluss. Reste der Fresken sind heute noch im Schloss zu sehen.