Presentasjon lastes. Vennligst vent

Presentasjon lastes. Vennligst vent

“Multivariate Analysis”, Mardia, Kent & Bibby, Chapter 8 – “Principal Component Analysis”, pp. 213-229, Introduksjon til PCA fra statistiker-perspektiv.

Liknende presentasjoner


Presentasjon om: "“Multivariate Analysis”, Mardia, Kent & Bibby, Chapter 8 – “Principal Component Analysis”, pp. 213-229, Introduksjon til PCA fra statistiker-perspektiv."— Utskrift av presentasjonen:

1 “Multivariate Analysis”, Mardia, Kent & Bibby, Chapter 8 – “Principal Component Analysis”, pp , Introduksjon til PCA fra statistiker-perspektiv Populasjons- og sample-basert Diagonalisering av kovariansmatrise Maksimering av varians, proporsjoner Sentrering (projeksjon) Komponentreduksjon Grafisk representasjon PCA-modell Variabel-transformasjon til ukorrelerte variable Scores + Loading plots Tolkning Vise sentrering = projeksjon som fjerner 1-er kolonnen.

2 “Correspondence Analysis”, Mardia, Kent & Bibby, pp Introduksjon til korrespondanse-analyse Tolkning av ”contigency”-tabeller Mange likeheter med PCA Egenvektorer av bestemte matriser Mye brukt innen samfunnsforskning, men også innen nettverk Forklare modell – egenvektorer ”av hva”? Forklare metode, problemer med egenverdier. Vise et eksempel

3 Lineære regresjonsmetoder Formulert i statistiker-språk, E(Y|X) Minste kvadraters metode Variansestimering, testing Gauss-Markov Teoremet Flere inputs, flere outputs Krymping, ridge regresjon, PLS, PCR Variabel-seleksjon ”The Elements of Statistical Learning”, T. Hastie, R. Tibshirani, J. Friedman, Chapter 3, pp OLS-modell + problemer med denne (stor varians) Tradeoff: Varians vs. Bias Forklare hvordan og hvorfor ridge virker (krymping av egenverdier) på SVD-form

4 ”The Elements of Statistical Learning”, T. Hastie, R. Tibshirani, J. Friedman Chapter 14.6, pp Introduksjon til ICA og Projection Pursuit Latente variabler og faktoranalyse Cocktail-party problemet Litt om informasjonsteori Multidimensjonal skalering (sensorikk, psykometri) Viktige forskjeller: Cocktail- party vs. ICA ”Ikke-gaussiskhet = uavhengighet” vha. Sentral- grense-teoremt Entropi, Neg-entropi

5 ”Survey on Independent Component Analysis”, Technical Report, Aapo Hyvärinen, (35 sider) Lineære transformasjoner PCA – ukorrelerte retninger Høyere ordens metoder, uavhengighet Informasjonsteori, negentropi Blind dekonvulsjon Betingelser for at ICA lykkes Koblinger til andre metoder (PP) Objektiv-funksjoner, ICA-algoritmer ICA-modellen FastICA Metode-oversikt/relasjoner

6 “Correspondence Analysis for Visualizing Interplay of Pitch Class, Key, and Composer”, H. Purwins, T. Graepel, B. Blankertz, K. Obermayer Vise sammenhengen mellom musiske paratmerte vha. korrespondans-analyse Biplots (score-plots) Link til multidimensjonal skalering Link til en kognitiv modell Beethoven, Mozart, Haydn, Brahms

7 ”Generalizing the Singular Value Decomposition”, Charles. F. Van. Loan, SIAM. J. Numer. Anal., Vol. 13, No. 1, March 1976, pp , Stasjonære verdier, determinanter To generaliseringer av SVD Diagonalisering av to matriser Bruker flere typer matrise-faktoriseringer Anvendelser: –Damped Least Squares –Weighted Least Squares Sette opp modeller for diagonalisering av to matriser Foreta variabel- transformasjon for å få to LSQ- problemer på diagonal form samtidig ”Outline of proof” Vise anvendelser

8 “On the Early History of the Singular Value Decomposition”, G. W. Stewart, SIAM Review 35 (1993), pp Bidrag fra 5 matematikere –Eugenio Beltrami ( ) –Camille Jordan ( ) –James Joseph Sylvester ( ) –Erhard Schmidt ( ) –Hermann Weyll ( ) Omhandler deres ansvar for å etablere eksistens av SVD og teori rundt denne. Oversikt over utgangspunkt + mål for de forskjellige forfatterne Vise svakheter og styrker ved angrepsmåtene

9 “Orthogonal Procrustes Rotation for Two or More Matrices”, J.M.F. Ten Berge, Psykometrika, Vol 42. No, 2, June 1977, pp Optimal rotasjon for å matche to eller flere punktmengder Psykologi/psykometri Trase-maksimering vha. Eckart-Young dekomposisjon (=SVD) Faglig diskurs med Gower Må kunne bevis for optimal rotasjon i LSQ-forstand Anvendelser Isotrop skalering

10 “The Isotropic Scaling Problem in Generalized Procrustus Analysis”, Ten Berge, J.M.F., and P.A. Bekker 1993, Computational Statistics and Data Analysis 16, pp Mer krangling med Gower Viser at Gowers løsning er OK under visse betingelser ”Closed-form solution” (Gower itererer) Vektorisering av matriser (”stacking”) Sette opp problem som ”stacked matrices” Argumentere for at dette kan løses som et egenverdi- problem

11 “Perturbation Theory for the Singular Value Decomposition”, G.W. Stewart, in SVD and Signal Processing, II, Algorithms, Analysis and Applications, 1991, pp SVD: Gir beste lav-rangs-approksimasjon til en matrise SVD kan skifte raskt (sensitiv) Likevel: Stabil i en ”underroms-forstand” –Singulære underrom Kanoniske vinkler mellom underrom Wedins teorem Hovedresultater Lav-rangs-approksimasjon Stabilitet: ikke pr. vektor, men pr. underrom Vinkelmål mellom underrom (vinkler)

12 Constrained Least Squares” Chapter, 12 in “Matrix Computations”, G.H. Golub and C.F. Van Loan, 3rd Edition, 1996, pp Løsning over en delmengde av alle x Kvadratisk ulikhet (LSQI) Gjør bruk av GSVD Lagrange-multiplikatorer Underromsløsninger Vektings-metode Sette opp diagonalisering + Lagrange-problem Argumentere for unik løsning i visse tilfeller Null-rom Underromsmetoder

13 “Selection of Variables to Preserve Multivariate Data Structure, Using Principal Components”, W.J. Krzanowski, Applied Statistics, Vol. 36, No. 1 (1987), Variabel-seleksjon som bevarer samspill mellom variable Fjerner variable så lenge biplot er likt. Bruker PCA + Procrustes-analyse Kan tenkes utvidet til PLS og ICA? Vise de tre komponentene, PCA, Procrustes, Backwards selection + hvordan de henger sammen

14

15


Laste ned ppt "“Multivariate Analysis”, Mardia, Kent & Bibby, Chapter 8 – “Principal Component Analysis”, pp. 213-229, Introduksjon til PCA fra statistiker-perspektiv."

Liknende presentasjoner


Annonser fra Google