Chapter 02 Wavelets - Lineær algebra

Presentasjon om: "Chapter 02 Wavelets - Lineær algebra"— Utskrift av presentasjonen:

1 Chapter 02 Wavelets - Lineær algebra
I dette kaptitlet skal vi gi en innføring i Wavelets. De 11 første sidene vil gi litt informasjon om hva Wavelets er og hva Wavelets kan benyttes til. Disse sidene vil kanskje inneholde noen begrep som kan være litt ukjente, men på de påfølgende sidene vil vi forsøke å knytte Wavelets-begrepet til mer kjente tema fra hverdagen. En slik start vil forhåpentligvis bidra til raskt å få litt følelse av hva Wavelets er. På den annen side vil en start med en del ukjente begrep raskt ødelegge interessen for totalt uinnvidde i temaet. Råd: Hold motet oppe gjennom de 11 første sidene, fra side 12 starter vi helt fra scratch med jordnære eksempler fra dagliglivet. Til venstre vises eksempler på såkalte Wavelets-transformerte bilder som er fremkommet ved å foreta Wavelets-tranformasjoner (en eller annen form for omgjøring) av en eller annen datakilde (signal, bilde, ...). Typisk for disse transformerte bildene er skarpe endringer i høyde/farge som indikerer detaljer/skiftninger i opprinnelig datakilde (signal/bilde/...).

2 Vektorer i 2-dim R2 Vektor-addisjon
Vektor-addisjon vha parallell-konstruksjon 2.akse y-akse v v1 v v2 v2 1.akse x-akse v1

3 Vektorer i 2-dim R2 Vektoren v har komponenter x1 og x2
og vi skriver v = [x1,x2] 2.akse y-akse v x2 1.akse x-akse x1

4 Vektorer i 2-dim R2 Vi innfører enhetsvektorer e1 og e2 langs x- og y-aksen henholdsvis. Enhetsvektorene har lengde 1. Disse lineært uavhengige enhetsvektorene sies å danne en basis for xy-planet siden enhver vektor i dette planet kan skrives som en lineær-kombinasjon av disse enhetsvektorene. 2.akse y-akse v x2 e2 1.akse x-akse e1 x1

5 Vektorer i 2-dim R2 Egenskaper - Eks
4 v v 1 e2 e2 e1 5 e1 2

6 Vektorer i 2-dim R2 Ulike basiser
k2 = 4e1 + 6e2 v v 2 k1 = 2e1 + e2 e2 e1 3

7 Vektorer i 2-dim R2 Biortogonale basiser
k2 = 4e1 +6e2 v k1 = 2e1 + e2  k2 = -1/8(e1 - 2e2)  k1 = 1/8(6e1 -4e2)

8 Vektorer i 2-dim R2 Lengden av en vektor
Vi kan benytte Pythagoras’ læresetning til å finne lengden av en vektor 2.akse y-akse v x2 e2 1.akse x-akse e1 x1

9 Vektorer i 2-dim R2 Skalarprodukt
Skalarproduktet av to vektorer v1 og v2 er definert som lengden av v1 multiplisert med lengden av v2 multiplisert med cosinus til vinkelen mellom v1 og v2. 2.akse y-akse v1 v2  1.akse x-akse

10 Vektorer i 2-dim R2 Skalarprodukt
For vektoren v og enhetsvektorene e1 og e2 får vi spesielt: 2.akse y-akse v1 v2  e2 1.akse x-akse e1 eller:

11 Vektorer i 2-dim R2 Skalarprodukt
2.akse y-akse v1 v2  e2 u2 u1 1.akse x-akse e1

12 Vektorer i 2-dim R2 Skalarprodukt
For enhetsvektorene e1 og e2 får vi spesielt: 2.akse y-akse v e2 1.akse x-akse e1

13 Vektorer i 3-dim R3 Vi innfører enhetsvektorer e1, e2 og e3 langs x-, y- og z-aksen henholdsvis. Enhetsvektorene har lengde 1. Disse lin. uavh. enhetsvektorene sies å danne en basis for det 3-dimensjonale rommet siden enhver vektor i dette rommet kan skrives som en lineær-kombinasjon av disse enhetsvektorene. 3.akse z-akse x3 v e3 x2 2.akse y-akse e1 e2 x1 1.akse x-akse

14 Vektorer i n-dim Rn Vi innfører enhetsvektorer e1, e2, …,en i det n-dimensjonale rommet Enhetsvektorene har lengde 1. Disse lin. uavh. vektorene sies å danne en basis for det n-dimensjonale rommet siden enhver vektor i dette rommet kan skrives som en lineær-kombinasjon av disse vektorene.

15 Ortogonal - Ortonormal
Vektorene u og v sies å være ortogonale (skrives u  v) hvis <u|v> = 0. En vektor v sies å være ortogonal til en mengde M  E (skrives v  M) hvis v  m for alle m  M. Vektorer {v1,v2,…} kalles et ortogonalt system hvis vi  vj for i  j. Hvis i tillegg ||vi|| = 1 for alle i, kalles systemet ortonormalt. v3 v2 v1

16 Vektorer i n-dim Rn Biortogonale basis-sett
   Vi innfører to sett med basisvektorer k1, k2, …,kn og k1, k2, …,kn Disse to basissettene sies å danne et biortogonalt sett hvis basisvektorene oppfyller betingelsen * vist nedenfor. k2 * v  k1 k2  k1

17 Komplekse vektorer i planet C
La v være en vektor i det komplekse planet med komponenter x og iy. Pga at i2 = -1, får vi lengden av denne vektoren ved å skalarmultiplisere v med den kompleks konjugerte av v. k v iy x

18 Komplekse vektorer i Cn Bra-Ket notasjon
La v være en vektor i det komplekse planet med komponenter x og iy. Pga at i2 = -1, får vi lengden av denne vektoren ved å skalarmultiplisere v med den kompleks konjugerte av v. k vj iy x

19 Komplekse vektorer i Cn

20 Analyse Syntese Analyse Syntese

21 Vektorer i 2-dim R2 Biortogonale basis-sett
 k1 k1  k2 Basisvektorene k er kolonner i K

22 Vektorer i 2-dim R2 Biortogonale basis-sett
k2 = 4e1 +6e2 v k1 = 2e1 + e2  k2 = -1/8(e1 - 2e2)  k1 = 1/8(6e1 -4e2) Basisvektorene k er kolonner i K

23 Analyse - Syntese Biortogonale basis-sett

24 Rom-hierarki Vektor-rom Indre produkt-rom Normert lineært rom
Normert vektor-rom over C Vektor-rom med indre produkt, norm og distanse Banach-rom Komplett normert lineært rom Hilbert-rom L(H1,H2) Komplett indre produkt-rom Komplekse n-rom l2-rom L2([-, ]) L2([a,b]) L2(R)

25 Vektor-rom Def Med et vektor-rom V mener vi en mengde av vektorer
x = (x1,x2,…,xn) eller x = (x1,x2,...) med addisjon og skalarmultiplikasjon (og lukket under disse operasjonene) slik at:

26 Vektor-rom Lineær uavhengighet
La V være et vektor-rom. La S  V. Spannet til S, sp S er sub-rommet til V bestående av alle lineærkombinasjoner av vektorer i S. Vektorene v1, v2,…,vn kalles lineært uavhengige hvis en lineærkombinasjon av disse lik 0, medfører at hver koeffisient er lik 0, ellers lineært avhengige (gjelder også for uendelig mange vektorer). En delmengde {v1, v2,…,vn} av vektorer i V kalles for en basis for V hvis V = sp {v1, v2,…,vn} og v1, v2,…,vn er lineært uavhengige. n kalles for dimensjonen til V.

27 Indre produkt-rom Def Et indre produkt-rom E er et vektor-rom
sammen med en kompleks funksjon < |  > (samt norm og distanse) definert ved:

28 Indre produkt-rom R2 2.akse y-akse v e2 e1 Indre produkt Norm Distanse

29 Indre produkt-rom Rn Indre produkt Norm Distanse

30 Indre produkt-rom Eksempler
Vektorer i Rn Vektorer i C2 Polynomer med ai C Kontinuerlige funksjoner på intervallet [a,b]

31 Indre produkt-rom Schwarz ulikhet - Triangel ulikhet - Parallellogram

32 Indre produkt-rom Schwarz ulikhet - Bevis

33 Indre produkt-rom Triangel ulikhet / Parallellogram - Bevis

34 Indre produkt-rom Ortogonal - Ortonormal
Vektorene u og v sies å være ortogonale (skrives u  v) hvis <u|v> = 0. En vektor v sies å være ortogonal til en mengde M  E (skrives v  M) hvis v  m for alle m  M. Vektorer {v1,v2,…} kalles et ortogonalt system hvis vi  vj for i  j. Hvis i tillegg ||vi|| = 1 for alle i, kalles systemet ortonormalt. v3 v2 v1

35 Indre produkt-rom Ortonormal / Lineært uavhengig
Et ortonormalt system {i} er lineært uavhengig. 3 2 Bevis: 1 Ethvert endelig-dimensjonalt indre produkt-rom har en ortonormal basis.

36 Indre produkt-rom Pythagoras
Det Pythagoreiske teorem: u+v u v Bevis:

37 Indre produkt-rom Distanse
Distansen d(v,S) fra et punkt v  E til en mengde S  E er definert ved: E S S s s v v-s v inf = Største nedre grense (Greatest lower bound) sup = Minste øvre grense (Least upper bound)

38 Indre produkt-rom Distanse fra en vektor til et underrom
La M være et endelig-dimensjonalt underrom av E og la {1, 2,…, n} være en ortonormal basis for M. For hver vektor v  E vil vektoren w = <v|j> j være den entydige vektoren i M med egenskapen ||v-w|| = d(v,M) M w v-w v

39 Indre produkt-rom Distanse fra en vektor til et underrom - Bevis

40 Indre produkt-rom Normalitet til et underrom
La M være et underrom av E. Anta at v  E og w  M. Da vil v-w  M hvis og bare hvis ||v-w|| = d(v,M). w v-w v Bevis:

41 Normert lineært rom Def
Et normert lineært rom X er et vektor-rom sammen med en reell funksjon |||| definert ved:

42 Banach rom Def Et normert lineært rom X kalles komplett
hvis enhver Cauchy-sekvens i X konvergerer. Et Banach rom B er et komplett normert lineært rom.

43 Hilbert rom Def Et Hilbert rom H over de komplekse tall C er definert ved: 1. H er et vektor-rom. Vektorer i H kan adderes og multipliseres med (komplekse) skalarer. 2. H har et indre produkt. 3. H er et komplett metrisk rom med hensyn til distanse definert ved dens norm.

44 Hilbert rom Cn Hilbert rommet Cn (n-tupler av komplekse tall).

45 Hilbert-rom L2([a,b]) Hilbert-rommet L2([a,b]) er mengden av alle kvadratisk integrerbare funksjoner på intervallet [a,b].

46 Hilbert-rom L2([a,b]) - Indre produkt
L2 indre produkt på L2([a,b]) er definert ved:

47 Hilbert-rom L2([a,b]) - Indre produkt - Motivasjon
f Diskretisering av f på intervallet [a,b] = [0,1]: 1

48 Hilbert rom L2[0,2] Hilbert rommet L2[0,2]

49 Hilbert rom L2[R] Hilbert rommet L2[-,+ ] = L2[R]

50 Hilbert rom Lp[R] Hilbert rommet Lp[-,+ ] = Lp[R]

51 Hilbert rom l2(A) Hilbert rommet l2(A)
hvor A er en vilkårlig mengde (endelig, uendelig tellbar eller uendelig ikke-tellbar).

52 Hilbert rom Komplekse n-rom
Det komplekse n-rom Cn består av mengden av alle n-tupler x = (x1,x2,…,xn) av komplekse tall med addisjon, skalarmultiplikasjon, indre produkt og norm definert ved:

53 Hilbert rom Konvekst rom - Def
En mengde C  H kalles konveks hvis mengden {tx+(1-t)y | 0 <= t <= 1} er inneholdt i C for alle x,y  C. y y x x Konveks Ikke konveks

54 Hilbert rom Konvekst rom - Eks
1. Ethvert underrom av et Hilbert rom H er konveks. 2. Hvis x og y er vektorer i 2- eller 3-dim rommet C, så vil C være konveks hvis hele linjesegmentet som forbinder x og y er inneholdt i C. 3. r-ball Sr(x0) = { x | ||x-x0|| <=r} er konveks. 4. Megden av alle funksjoner i L2([a,b]) som er positive nesten overalt på [a,b] er konveks. 3 :

55 Hilbert rom Lukket rom - Def
La S være et underrom av et Hilbert rom H. Lukningen (closure) av S er mengden av alle vektorer i H som er grensen av sekvenser av vektorer i S. Hvis lukningen av S er lik S, kalles S en lukket (closed) mengde.

56 Hilbert rom Lukket rom - Eks
1. Enhver r-ball i H er en lukket mengde. 2. Ethvert endeligdimensjonalt underrom av et Hilbert rom H, er lukket.

57 Hilbert rom Ortogonalt komplement
La S  H. Det ortogonale komplement S til S er mengden {xH | x  S}

58 Hilbert rom Teorem La M være et lukket underrom til et Hilbert rom H.
La y  H. Det eksisterer da en entydig w  M og en entydig v  M slik at y = w+v H M y v w M y = w + v Hvis M er et lukket underrom til et Hilbert rom H, så har vi (M)  = M.

59 Hilbert rom Teorem - Bevis

60 Hilbert rom Konvergens
Def: Eks:

61 Hilbert rom Teorem Det indre produkt er kontinuerlig på H x H,
dvs hvis xn -> x og yn -> y i H så har vi <xn,yn> -> <x,y> Bevis:

62 Hilbert rom Teorem

63 Hilbert rom Ortonormal basis
Et ortonormalt system {1, 2,…} kalles en ortonormal basis for H hvis for hver v  H v = kkk for noen 1, 2,… i C Hver k = <y, k> kalles en Fourier-koeffisient til y

64 Hilbert rom Teorem

65 Hilbert rom Lineær-operatorer - Def
En funksjon A : H1  H2 kalles en lineær operator hvis for alle x,y H1,   C : A(x+y) = A(x) + A(y) A(x) = A(x) A(x) skrives ofte Ax  = 0  A(0)=0

66 Hilbert rom Lineær-operatorer - Eks
Til enhver n x n matrise av komplekse tall kan vi tilordne en lineær-operator A = (aij) : Cn  Cn gitt ved:

67 Hilbert rom Begrensede Lineær-operatorer - Def
En lineær operator A : H1  H2 kalles begrenset hvis: Normen til A, skrevet ||A||, er definert ved: A er begrenset hvis og bare hvis den tar 1-ball S1 med senter 0 i H1 inn i en r-ball i H2. Den minste ballen i H2 som inneholder AS1 har radius ||A||.

68 Hilbert rom Begrensede Lineær-operatorer - Eks - Identitetsoperatoren
Identitetsoperatoren I : H1  H1 gitt ved Ix = x er en begrenset lineær-operator med norm 1.

69 Hilbert rom Begrensede Lineær-operatorer - Eks - Matriseoperator
Matrise-operatoren A = (aij) : Cn  Cn er en begrenset lineær-operator

70 Hilbert rom Begrensede Lineær-operatorer - Teoremer

71 Hilbert rom Mengden av begrensede lineær-operatorer - Def
Mengden av begrensede lineær-operatorer A : H1  H2 betegnes L(H1,H2) Hvis H1 = H2 skrives L(H1) i stedet for L(H1,H1)

72 Hilbert rom Mengden av begrensede lineær-operatorer - Teoremer
A,B  L(H1,H2) 

73 Hilbert rom Matriserepresentasjon av begrensede lineær-operatorer på et separabelt Hilbert rom
x  H A  L(H) 1, 2, … ortonormal basis for H  Matrisen A = (aij) svarende til 1, 2, … er definert ved:

74 End