Algorithmes de poursuite stochastiques et inégalités de concentration empiriques pour l'apprentissage statistique

作者: Thomas Peel

DOI:

关键词: HumanitiesOnline learningStochastic algorithmsMathematics

摘要: La premiere partie de cette these introduit nouveaux algorithmes decomposition parcimonieuse signaux. Bases sur Matching Pursuit (MP) ils repondent au probleme suivant : comment reduire le temps calcul l'etape selection MP, souvent tres couteuse. En reponse, nous sous-echantillonnons dictionnaire a chaque iteration, en lignes et colonnes. Nous montrons que approche fondee theoriquement affiche bons resultats pratique. proposons ensuite un algorithme iteratif descente gradient par blocs coordonnees pour selectionner des caracteristiques classification multi-classes. Celui-ci s'appuie l'utilisation codes correcteurs d'erreurs transformant representation simultanee deuxieme expose nouvelles inegalites concentration empiriques type Bernstein. premier, elles concernent la theorie U-statistiques sont utilisees elaborer bornes generalisation dans cadre d'algorithmes ranking. Ces tirent parti d'un estimateur variance lequel efficace. Ensuite, presentons une version empirique l'inegalite Bernstein proposee Freedman [1975] les martingales. Ici encore, force notre borne reside l'introduction calculable partir donnees. Cela permet proposer l'ensemble d'apprentissage ligne ameliorant l'etat l'art ouvrant porte nouvelle famille tirant information empirique.

参考文章(77)
V.N. Temlyakov, A Criterion for Convergence of Weak Greedy Algorithms Advances in Computational Mathematics. ,vol. 17, pp. 269- 280 ,(2000) , 10.1023/A:1016061804993
Liva Ralaivola, Sandrine Anthoine, Valentin Emiya, Thomas Peel, Matching pursuit with stochastic selection european signal processing conference. pp. 879- 883 ,(2012) , 10.5281/ZENODO.43127
Bernhard Scholkopf, Ralf Herbrich, Alex Smola, Robert Williamson, A Generalized Representer Theorem european conference on computational learning theory. pp. 416- 426 ,(2001) , 10.1007/3-540-44581-1_27
Bernhard Schölkopf, Alexander J. Smola, Learning with Kernels The MIT Press. pp. 626- ,(2018) , 10.7551/MITPRESS/4175.001.0001
T. J. Sejnowski, Parallel networks that learn to pronounce English text Complex Systems. ,vol. 1, pp. 145- 168 ,(1987)
Jean-Yves Audibert, Rémi Munos, Csaba Szepesvári, Tuning Bandit Algorithms in Stochastic Environments Lecture Notes in Computer Science. pp. 150- 165 ,(2007) , 10.1007/978-3-540-75225-7_15
Koby Crammer, Yoram Singer, On the Learnability and Design of Output Codes for Multiclass Problems conference on learning theory. ,vol. 47, pp. 201- 233 ,(2002) , 10.1023/A:1013637720281