Presentasjon lastes. Vennligst vent

Presentasjon lastes. Vennligst vent

“Multivariate Analysis”, Mardia, Kent & Bibby, Chapter 8 – “Principal Component Analysis”, pp. 213-229, Introduksjon til PCA fra statistiker-perspektiv.

Liknende presentasjoner


Presentasjon om: "“Multivariate Analysis”, Mardia, Kent & Bibby, Chapter 8 – “Principal Component Analysis”, pp. 213-229, Introduksjon til PCA fra statistiker-perspektiv."— Utskrift av presentasjonen:

1 “Multivariate Analysis”, Mardia, Kent & Bibby, Chapter 8 – “Principal Component Analysis”, pp. 213-229, Introduksjon til PCA fra statistiker-perspektiv Populasjons- og sample-basert Diagonalisering av kovariansmatrise Maksimering av varians, proporsjoner Sentrering (projeksjon) Komponentreduksjon Grafisk representasjon PCA-modell Variabel-transformasjon til ukorrelerte variable Scores + Loading plots Tolkning Vise sentrering = projeksjon som fjerner 1-er kolonnen.

2 “Correspondence Analysis”, Mardia, Kent & Bibby, pp. 237-239 Introduksjon til korrespondanse-analyse Tolkning av ”contigency”-tabeller Mange likeheter med PCA Egenvektorer av bestemte matriser Mye brukt innen samfunnsforskning, men også innen nettverk Forklare modell – egenvektorer ”av hva”? Forklare metode, problemer med egenverdier. Vise et eksempel

3 Lineære regresjonsmetoder Formulert i statistiker-språk, E(Y|X) Minste kvadraters metode Variansestimering, testing Gauss-Markov Teoremet Flere inputs, flere outputs Krymping, ridge regresjon, PLS, PCR Variabel-seleksjon ”The Elements of Statistical Learning”, T. Hastie, R. Tibshirani, J. Friedman, Chapter 3, pp. 41-73 OLS-modell + problemer med denne (stor varians) Tradeoff: Varians vs. Bias Forklare hvordan og hvorfor ridge virker (krymping av egenverdier) på SVD-form

4 ”The Elements of Statistical Learning”, T. Hastie, R. Tibshirani, J. Friedman Chapter 14.6, pp. 494-502 Introduksjon til ICA og Projection Pursuit Latente variabler og faktoranalyse Cocktail-party problemet Litt om informasjonsteori Multidimensjonal skalering (sensorikk, psykometri) Viktige forskjeller: Cocktail- party vs. ICA ”Ikke-gaussiskhet = uavhengighet” vha. Sentral- grense-teoremt Entropi, Neg-entropi

5 ”Survey on Independent Component Analysis”, Technical Report, Aapo Hyvärinen, 1999. (35 sider) Lineære transformasjoner PCA – ukorrelerte retninger Høyere ordens metoder, uavhengighet Informasjonsteori, negentropi Blind dekonvulsjon Betingelser for at ICA lykkes Koblinger til andre metoder (PP) Objektiv-funksjoner, ICA-algoritmer ICA-modellen FastICA Metode-oversikt/relasjoner

6 “Correspondence Analysis for Visualizing Interplay of Pitch Class, Key, and Composer”, H. Purwins, T. Graepel, B. Blankertz, K. Obermayer Vise sammenhengen mellom musiske paratmerte vha. korrespondans-analyse Biplots (score-plots) Link til multidimensjonal skalering Link til en kognitiv modell Beethoven, Mozart, Haydn, Brahms

7 ”Generalizing the Singular Value Decomposition”, Charles. F. Van. Loan, SIAM. J. Numer. Anal., Vol. 13, No. 1, March 1976, pp. 76-83, Stasjonære verdier, determinanter To generaliseringer av SVD Diagonalisering av to matriser Bruker flere typer matrise-faktoriseringer Anvendelser: –Damped Least Squares –Weighted Least Squares Sette opp modeller for diagonalisering av to matriser Foreta variabel- transformasjon for å få to LSQ- problemer på diagonal form samtidig ”Outline of proof” Vise anvendelser

8 “On the Early History of the Singular Value Decomposition”, G. W. Stewart, SIAM Review 35 (1993), pp.551-566 Bidrag fra 5 matematikere –Eugenio Beltrami (1835-1899) –Camille Jordan (1838-1921) –James Joseph Sylvester (1814-1897) –Erhard Schmidt (1876-1959) –Hermann Weyll (1885-1955) Omhandler deres ansvar for å etablere eksistens av SVD og teori rundt denne. Oversikt over utgangspunkt + mål for de forskjellige forfatterne Vise svakheter og styrker ved angrepsmåtene

9 “Orthogonal Procrustes Rotation for Two or More Matrices”, J.M.F. Ten Berge, Psykometrika, Vol 42. No, 2, June 1977, pp. 267-276 Optimal rotasjon for å matche to eller flere punktmengder Psykologi/psykometri Trase-maksimering vha. Eckart-Young dekomposisjon (=SVD) Faglig diskurs med Gower Må kunne bevis for optimal rotasjon i LSQ-forstand Anvendelser Isotrop skalering

10 “The Isotropic Scaling Problem in Generalized Procrustus Analysis”, Ten Berge, J.M.F., and P.A. Bekker 1993, Computational Statistics and Data Analysis 16, pp. 201-204. Mer krangling med Gower Viser at Gowers løsning er OK under visse betingelser ”Closed-form solution” (Gower itererer) Vektorisering av matriser (”stacking”) Sette opp problem som ”stacked matrices” Argumentere for at dette kan løses som et egenverdi- problem

11 “Perturbation Theory for the Singular Value Decomposition”, G.W. Stewart, in SVD and Signal Processing, II, Algorithms, Analysis and Applications, 1991, pp. 99-109 SVD: Gir beste lav-rangs-approksimasjon til en matrise SVD kan skifte raskt (sensitiv) Likevel: Stabil i en ”underroms-forstand” –Singulære underrom Kanoniske vinkler mellom underrom Wedins teorem Hovedresultater Lav-rangs-approksimasjon Stabilitet: ikke pr. vektor, men pr. underrom Vinkelmål mellom underrom (vinkler)

12 Constrained Least Squares” Chapter, 12 in “Matrix Computations”, G.H. Golub and C.F. Van Loan, 3rd Edition, 1996, pp.580-587 Løsning over en delmengde av alle x Kvadratisk ulikhet (LSQI) Gjør bruk av GSVD Lagrange-multiplikatorer Underromsløsninger Vektings-metode Sette opp diagonalisering + Lagrange-problem Argumentere for unik løsning i visse tilfeller Null-rom Underromsmetoder

13 “Selection of Variables to Preserve Multivariate Data Structure, Using Principal Components”, W.J. Krzanowski, Applied Statistics, Vol. 36, No. 1 (1987), 22-33 Variabel-seleksjon som bevarer samspill mellom variable Fjerner variable så lenge biplot er likt. Bruker PCA + Procrustes-analyse Kan tenkes utvidet til PLS og ICA? Vise de tre komponentene, PCA, Procrustes, Backwards selection + hvordan de henger sammen

14

15


Laste ned ppt "“Multivariate Analysis”, Mardia, Kent & Bibby, Chapter 8 – “Principal Component Analysis”, pp. 213-229, Introduksjon til PCA fra statistiker-perspektiv."

Liknende presentasjoner


Annonser fra Google