Modellselektion für Neuronale Netzwerke

摘要: Obwohl Neuronale Netzwerke meist ad hoc entworfen und eingesetzt wurden, ist eine sorgfaltige Modellselektion gerade bei hochparameterisierten nichtlinearen Modellen wie Neuronalen von groser Bedeutung. Irrelevante Eingangsvariablen, Neuronen Gewichte konnen die Modellvarianz erhohen Vorhersageleistung stark beeintrachtigen. Die hier beschriebene Methode zur hat zum Ziel, den out-of-sample Fehler zu minimieren beruht deshalb auf einer moglichst genauen aber effizienten Schatzung dieses Fehlers. Im Gegensatz linearen sind analytische Verfahren unter Umstanden schwierig berechnen. Resampling Cross—Validation oder Bootstrap dagegen erfordern normalerweise erheblichen Rechenaufwand. Wir beschreiben ein Verfahren, das im Kern Form Cross-Validation fur nichtlineare Modelle Variablenselektion mittels Sensitivitatsanalyse Gewichtspruning einschliest. zwei Anwendungsbeispiele: Vorhersage der Standard & Poor’s Kreditwurdigkeitsbewertung Unternehmen Neuronales Netzwerk des US Index of Industrial Production.