Convergence du processus de Oja et ACP en ligne
Résumé
Using an i.i.d. sample of a random matrix, an eigenvector corresponding to its largest eigenvalue can be sequentially estimated by the currently used process of Oja, then eigenvectors corresponding to its eigenvalues in decreasing order. We propose two extensions of the almost sure convergence assumptions of this process. Applying these extensions to online PCA of a data stream, this allows to study the case where the metric used is unknown and is estimated online and also to prove the convergence of a process using, instead of a mini-batch of observations at each step, all observations until the current step thus the information contained in the previous data without storing them.
Le processus de Oja est couramment utilisé pour estimer séquentiellement un vecteur propre associé à la plus grande valeur propre de l'espérance mathématique d'une matrice aléatoire symétrique en en utilisant un échantillon i.i.d., puis des vecteurs propres associés aux valeurs propres suivantes en ordre décroissant. Nous proposons deux extensions des hypothèses de convergence presque sûre de ce processus. Dans l'ACP en ligne d'un ‡ux de données, ces extensions permettent de traiter des cas où la métrique utilisée est inconnue et est estimée en ligne, et également d'établir la convergence d'un processus où, au lieu d'utiliser plusieurs observations à chaque étape, on utilise toutes les observations jusqu'à l'étape courante, donc toute l'information contenue dans les données précédentes, sans avoir à les stocker.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...