Introduksjon til PCA fra statistiker-perspektiv

Presentasjon om: "Introduksjon til PCA fra statistiker-perspektiv"— Utskrift av presentasjonen:

1 Introduksjon til PCA fra statistiker-perspektiv
“Multivariate Analysis”, Mardia, Kent & Bibby, Chapter 8 – “Principal Component Analysis”, pp , Introduksjon til PCA fra statistiker-perspektiv Populasjons- og sample-basert Diagonalisering av kovariansmatrise Maksimering av varians, proporsjoner Sentrering (projeksjon) Komponentreduksjon Grafisk representasjon PCA-modell Variabel-transformasjon til ukorrelerte variable Scores + Loading plots Tolkning Vise sentrering = projeksjon som fjerner 1-er kolonnen.

2 “Correspondence Analysis”, Mardia, Kent & Bibby, pp. 237-239
Introduksjon til korrespondanse-analyse Tolkning av ”contigency”-tabeller Mange likeheter med PCA Egenvektorer av bestemte matriser Mye brukt innen samfunnsforskning, men også innen nettverk Forklare modell – egenvektorer ”av hva”? Forklare metode, problemer med egenverdier. Vise et eksempel

3 Lineære regresjonsmetoder Formulert i statistiker-språk, E(Y|X)
”The Elements of Statistical Learning”, T. Hastie, R. Tibshirani, J. Friedman, Chapter 3, pp Lineære regresjonsmetoder Formulert i statistiker-språk, E(Y|X) Minste kvadraters metode Variansestimering, testing Gauss-Markov Teoremet Flere inputs, flere outputs Krymping, ridge regresjon, PLS, PCR Variabel-seleksjon OLS-modell + problemer med denne (stor varians) Tradeoff: Varians vs. Bias Forklare hvordan og hvorfor ridge virker (krymping av egenverdier) på SVD-form

4 Introduksjon til ICA og Projection Pursuit
”The Elements of Statistical Learning”, T. Hastie, R. Tibshirani, J. Friedman Chapter 14.6, pp Introduksjon til ICA og Projection Pursuit Latente variabler og faktoranalyse Cocktail-party problemet Litt om informasjonsteori Multidimensjonal skalering (sensorikk, psykometri) Viktige forskjeller: Cocktail-party vs. ICA ”Ikke-gaussiskhet = uavhengighet” vha. Sentral-grense-teoremt Entropi, Neg-entropi

5 Lineære transformasjoner PCA – ukorrelerte retninger
”Survey on Independent Component Analysis”, Technical Report, Aapo Hyvärinen, (35 sider) Lineære transformasjoner PCA – ukorrelerte retninger Høyere ordens metoder, uavhengighet Informasjonsteori, negentropi Blind dekonvulsjon Betingelser for at ICA lykkes Koblinger til andre metoder (PP) Objektiv-funksjoner, ICA-algoritmer ICA-modellen FastICA Metode-oversikt/relasjoner

6 Vise sammenhengen mellom musiske paratmerte vha. korrespondans-analyse
“Correspondence Analysis for Visualizing Interplay of Pitch Class, Key, and Composer”, H. Purwins, T. Graepel, B. Blankertz, K. Obermayer Vise sammenhengen mellom musiske paratmerte vha. korrespondans-analyse Biplots (score-plots) Link til multidimensjonal skalering Link til en kognitiv modell Beethoven, Mozart, Haydn, Brahms

7 Stasjonære verdier, determinanter To generaliseringer av SVD
”Generalizing the Singular Value Decomposition”, Charles. F. Van. Loan, SIAM. J. Numer. Anal., Vol. 13, No. 1, March 1976, pp , Stasjonære verdier, determinanter To generaliseringer av SVD Diagonalisering av to matriser Bruker flere typer matrise-faktoriseringer Anvendelser: Damped Least Squares Weighted Least Squares Sette opp modeller for diagonalisering av to matriser Foreta variabel-transformasjon for å få to LSQ-problemer på diagonal form samtidig ”Outline of proof” Vise anvendelser

8 Bidrag fra 5 matematikere
“On the Early History of the Singular Value Decomposition”, G. W. Stewart, SIAM Review 35 (1993), pp Bidrag fra 5 matematikere Eugenio Beltrami ( ) Camille Jordan ( ) James Joseph Sylvester ( ) Erhard Schmidt ( ) Hermann Weyll ( ) Omhandler deres ansvar for å etablere eksistens av SVD og teori rundt denne. Oversikt over utgangspunkt + mål for de forskjellige forfatterne Vise svakheter og styrker ved angrepsmåtene

9 Optimal rotasjon for å matche to eller flere punktmengder
“Orthogonal Procrustes Rotation for Two or More Matrices”, J.M.F. Ten Berge, Psykometrika, Vol 42. No, 2, June 1977, pp Optimal rotasjon for å matche to eller flere punktmengder Psykologi/psykometri Trase-maksimering vha. Eckart-Young dekomposisjon (=SVD) Faglig diskurs med Gower Må kunne bevis for optimal rotasjon i LSQ-forstand Anvendelser Isotrop skalering

10 Mer krangling med Gower
“The Isotropic Scaling Problem in Generalized Procrustus Analysis”, Ten Berge, J.M.F., and P.A. Bekker 1993, Computational Statistics and Data Analysis 16, pp Mer krangling med Gower Viser at Gowers løsning er OK under visse betingelser ”Closed-form solution” (Gower itererer) Vektorisering av matriser (”stacking”) Sette opp problem som ”stacked matrices” Argumentere for at dette kan løses som et egenverdi-problem

11 SVD: Gir beste lav-rangs-approksimasjon til en matrise
“Perturbation Theory for the Singular Value Decomposition”, G.W. Stewart, in SVD and Signal Processing, II, Algorithms, Analysis and Applications, 1991, pp SVD: Gir beste lav-rangs-approksimasjon til en matrise SVD kan skifte raskt (sensitiv) Likevel: Stabil i en ”underroms-forstand” Singulære underrom Kanoniske vinkler mellom underrom Wedins teorem Hovedresultater Lav-rangs-approksimasjon Stabilitet: ikke pr. vektor, men pr. underrom Vinkelmål mellom underrom (vinkler)

12 Løsning over en delmengde av alle x Kvadratisk ulikhet (LSQI)
Constrained Least Squares” Chapter, 12 in “Matrix Computations” , G.H. Golub and C.F. Van Loan, 3rd Edition, 1996, pp Løsning over en delmengde av alle x Kvadratisk ulikhet (LSQI) Gjør bruk av GSVD Lagrange-multiplikatorer Underromsløsninger Vektings-metode Sette opp diagonalisering + Lagrange-problem Argumentere for unik løsning i visse tilfeller Null-rom Underromsmetoder

13 Variabel-seleksjon som bevarer samspill mellom variable
“Selection of Variables to Preserve Multivariate Data Structure, Using Principal Components”, W.J. Krzanowski, Applied Statistics, Vol. 36, No. 1 (1987), 22-33 Variabel-seleksjon som bevarer samspill mellom variable Fjerner variable så lenge biplot er likt. Bruker PCA + Procrustes-analyse Kan tenkes utvidet til PLS og ICA? Vise de tre komponentene, PCA, Procrustes, Backwards selection + hvordan de henger sammen

14

15