Beim Anwesen Franz-Xaver-Witt-Str. 2 handelt es sich um ein Baudenkmal, das in der Denkmalliste eingetragen ist:
'Haus Nr. 19; Ehemaliges Klosterrichterhaus, später Schulhaus und Geburtshaus von Dr. Franz Xaver Witt, 17. / 18. Jahrhundert, im 19. Jahrhundert um ein zweites Obergeschoss aufgestockt (FlNr. 40)'
Das Anwesen "Franz-Xaver-Witt-Straße 2" ist seit dem 28.01.2008 das Rathaus der Verwaltungsgemeinschaft Walderbach.
Das bisherige Rathaus (Franz-Xaver-Witt-Str. 4) wurde von der Gemeinde Walderbach vom Freistaat Bayern als ehemaliges Schulhaus erworben. In der Sitzung des Gemeinderates Walderbach vom 23.10.1974 wurden die Aufträge zum Umbau des Gebäudes zu einem Verwaltungsgebäude erteilt.
Seit dem 01.05.1978 war das Anwesen Haus Nr. 20 (Franz-Xaver-Witt-Str. 4) Sitz der Verwaltung der Verwaltungsgemeinschaft Walderbach.
In diesem Haus wurde sein Sohn Franz geboren, der als Erneuerer der katholischen Kirchenmusik bekannt wurde. Dr. Franz Witt hat zahlreiche Messen und Motetten komponiert und betätigte sich auch als Musikschriftsteller. Weltweit bekannt wurde er, als er 1868 den Allgemeinen Deutschen Cäcilienverein gründete. Am westlichen Giebel seines Geburtshauses wurde an seinem 25. Todestag, dem 02.12.1913, eine Gedenktafel angebracht.