Für die katholische Kirche begann das 19. Jahrhundert mit der Säkularisation. Alle Kirchen und Kapellen sollten auf behördliche Anweisung zerstört werden, auch die Wallfahrtskirche am Annaberg.
Grafenwöhr wehrte sich vehement gegen den Erlass und bewahrte so die Annabergkirche vor ihrem Abriss. Kleine Kapellen aber mussten geopfert werden und auch der barocke Kreuzweg von 1732 am Annaberg wurde 1803 abgerissen. Eine Ansicht davon gibt es in der Friedhofskirche im Gemälde am Nothelferaltar. Einzig verblieben ist das große Kreuz, das heute zwischen Kirche und Pieta steht.
In der Kirche werden 1821 erstmals drei Altäre erwähnt. Das Mariahilfbild mit Joachim und Anna , den Eltern Mariens an der Seite, darüber St. Anna und die junge Maria, weiterhin, die heute verschwundenen knieenden Engel. Die Nebenaltäre waren der Schmerzhaften Mutter und St. Wendelin gewidmet. Vom Wendelin-Altar ist 1828 überliefert, dass er fast eingefallen ist. Da der heutige Wendelin-Altar die Gruft von 1832 bereits zeigt, ist dieser wohl um diese Zeit erneuert worden.
Von 1827-1841 fungierte die Kirche am Annaberg als Ersatz-Pfarrkirche, da die Himmelfahrtkirche am Marktplatz wegen Blitzschäden nicht nutzbar war. Problem der „Notkirche“ war der geringe Platz und die Erreichbarkeit im Winter für Ältere und Kranke. Weiterhin beklagte der damalige Pfarrer Nagler, dass die liturgischen Geräte durch das ständige Hin- und Hertragen stark abgenutzt würden. Ein Verbleib der Gegenstände am Annaberg war nicht denkbar, da die abgelegene Kirche oftmals Schauplatz von Einbrüchen war. 1840 schlug in die Annabergkirche ein Blitz ein und das Gotteshaus wurde 1841, nachdem die Pfarrkirche am Marktplatz wieder Instand gesetzt war, bis 1849 geschlossen. Während der Umbauphase erhielt die Kirche ihr heutiges Äußeres und das große Langhaus, das um 3 Meter erweitert wurde.
Im Jahr 1898 erfuhr die Innenausstattung eine große Veränderung. Die Kirche wurde im Nazarener Stil umgestaltet, einer Kunstrichtung der Romantik mit religiösem Schwerpunkt. Der Nebenaltar, der bislang der Schmerzreichen Mutter gewidmet war, wurde zum Judas Thaddäus Altar umgewidmet. Die Mutterstatue wechselte in die Alte Pfarrkirche unter das Missionskreuz. Auch ein Kreuzweg für das Kircheninnere aus Würzburg wurde im Nazarener-Stil erworben, weiterhin der Kreuzweg im Außenbereich in Form von Sandsteinsäulen erneuert. Der Wendelinaltar blieb zum Glück erhalten, denn er zeigt eine alte Ansicht des Annabergs um 1890 mit der Gruft und dem noch ursprünglich barocken Zwiebelturm. Dieser wurde 1897 durch einen Blitzschlag zerstört und 1899 schließlich erhöht und mit der heutigen geraden Kirchturmspitze und Bronzeglocken ersetzt.
Bei der Renovierung wurden weiterhin die Altäre neu vergoldet und der Plafond mit hübschen Deckengemälden verziert, ausgetretenes Pflaster und Kirchenstühle erneuert, Malerarbeiten verrichtet und diebstahlsichere Opferstöcke angeschafft.
Warum ein Blick zur Decke lohnt und wieso die Kirche in Gerichtsakten auftaucht, verrät das Gschichterl „Annaberg im 20. Jahrhundert“.
