Chapter 02 Wavelets - Lineær algebra I dette kaptitlet skal vi gi en innføring i Wavelets. De 11 første sidene vil gi litt informasjon om hva Wavelets er og hva Wavelets kan benyttes til. Disse sidene vil kanskje inneholde noen begrep som kan være litt ukjente, men på de påfølgende sidene vil vi forsøke å knytte Wavelets-begrepet til mer kjente tema fra hverdagen. En slik start vil forhåpentligvis bidra til raskt å få litt følelse av hva Wavelets er. På den annen side vil en start med en del ukjente begrep raskt ødelegge interessen for totalt uinnvidde i temaet. Råd: Hold motet oppe gjennom de 11 første sidene, fra side 12 starter vi helt fra scratch med jordnære eksempler fra dagliglivet. Til venstre vises eksempler på såkalte Wavelets-transformerte bilder som er fremkommet ved å foreta Wavelets-tranformasjoner (en eller annen form for omgjøring) av en eller annen datakilde (signal, bilde, ...). Typisk for disse transformerte bildene er skarpe endringer i høyde/farge som indikerer detaljer/skiftninger i opprinnelig datakilde (signal/bilde/...).

Vektorer i 2-dim R2 Vektor-addisjon Vektor-addisjon vha parallell-konstruksjon 2.akse y-akse v v1 v v2 v2 1.akse x-akse v1

Vektorer i 2-dim R2 Vektoren v har komponenter x1 og x2 og vi skriver v = [x1,x2] 2.akse y-akse v x2 1.akse x-akse x1

Vektorer i 2-dim R2 Vi innfører enhetsvektorer e1 og e2 langs x- og y-aksen henholdsvis. Enhetsvektorene har lengde 1. Disse lineært uavhengige enhetsvektorene sies å danne en basis for xy-planet siden enhver vektor i dette planet kan skrives som en lineær-kombinasjon av disse enhetsvektorene. 2.akse y-akse v x2 e2 1.akse x-akse e1 x1

Vektorer i 2-dim R2 Egenskaper - Eks 4 v v 1 e2 e2 e1 5 e1 2

Vektorer i 2-dim R2 Ulike basiser k2 = 4e1 + 6e2 v v 2 k1 = 2e1 + e2 e2 e1 3

Vektorer i 2-dim R2 Biortogonale basiser k2 = 4e1 +6e2 v k1 = 2e1 + e2  k2 = -1/8(e1 - 2e2)  k1 = 1/8(6e1 -4e2)

Vektorer i 2-dim R2 Lengden av en vektor Vi kan benytte Pythagoras’ læresetning til å finne lengden av en vektor 2.akse y-akse v x2 e2 1.akse x-akse e1 x1

Vektorer i 2-dim R2 Skalarprodukt Skalarproduktet av to vektorer v1 og v2 er definert som lengden av v1 multiplisert med lengden av v2 multiplisert med cosinus til vinkelen mellom v1 og v2. 2.akse y-akse v1 v2  1.akse x-akse

Vektorer i 2-dim R2 Skalarprodukt For vektoren v og enhetsvektorene e1 og e2 får vi spesielt: 2.akse y-akse v1 v2  e2 1.akse x-akse e1 eller:

Vektorer i 2-dim R2 Skalarprodukt 2.akse y-akse v1 v2  e2 u2 u1 1.akse x-akse e1

Vektorer i 2-dim R2 Skalarprodukt For enhetsvektorene e1 og e2 får vi spesielt: 2.akse y-akse v e2 1.akse x-akse e1

Vektorer i 3-dim R3 Vi innfører enhetsvektorer e1, e2 og e3 langs x-, y- og z-aksen henholdsvis. Enhetsvektorene har lengde 1. Disse lin. uavh. enhetsvektorene sies å danne en basis for det 3-dimensjonale rommet siden enhver vektor i dette rommet kan skrives som en lineær-kombinasjon av disse enhetsvektorene. 3.akse z-akse x3 v e3 x2 2.akse y-akse e1 e2 x1 1.akse x-akse

Vektorer i n-dim Rn Vi innfører enhetsvektorer e1, e2, …,en i det n-dimensjonale rommet Enhetsvektorene har lengde 1. Disse lin. uavh. vektorene sies å danne en basis for det n-dimensjonale rommet siden enhver vektor i dette rommet kan skrives som en lineær-kombinasjon av disse vektorene.

Ortogonal - Ortonormal Vektorene u og v sies å være ortogonale (skrives u  v) hvis <u|v> = 0. En vektor v sies å være ortogonal til en mengde M  E (skrives v  M) hvis v  m for alle m  M. Vektorer {v1,v2,…} kalles et ortogonalt system hvis vi  vj for i  j. Hvis i tillegg ||vi|| = 1 for alle i, kalles systemet ortonormalt. v3 v2 v1

Vektorer i n-dim Rn Biortogonale basis-sett    Vi innfører to sett med basisvektorer k1, k2, …,kn og k1, k2, …,kn Disse to basissettene sies å danne et biortogonalt sett hvis basisvektorene oppfyller betingelsen * vist nedenfor. k2 * v  k1 k2  k1

Komplekse vektorer i planet C La v være en vektor i det komplekse planet med komponenter x og iy. Pga at i2 = -1, får vi lengden av denne vektoren ved å skalarmultiplisere v med den kompleks konjugerte av v. k v iy x

Komplekse vektorer i Cn Bra-Ket notasjon La v være en vektor i det komplekse planet med komponenter x og iy. Pga at i2 = -1, får vi lengden av denne vektoren ved å skalarmultiplisere v med den kompleks konjugerte av v. k vj iy x

Komplekse vektorer i Cn

Analyse - Syntese Analyse Syntese

Vektorer i 2-dim R2 Biortogonale basis-sett  k1 k1  k2 Basisvektorene k er kolonner i K

Vektorer i 2-dim R2 Biortogonale basis-sett k2 = 4e1 +6e2 v k1 = 2e1 + e2  k2 = -1/8(e1 - 2e2)  k1 = 1/8(6e1 -4e2) Basisvektorene k er kolonner i K

Analyse - Syntese Biortogonale basis-sett

Rom-hierarki Vektor-rom Indre produkt-rom Normert lineært rom Normert vektor-rom over C Vektor-rom med indre produkt, norm og distanse Banach-rom Komplett normert lineært rom Hilbert-rom L(H1,H2) Komplett indre produkt-rom Komplekse n-rom l2-rom L2([-, ]) L2([a,b]) L2(R)

Vektor-rom Def Med et vektor-rom V mener vi en mengde av vektorer x = (x1,x2,…,xn) eller x = (x1,x2,...) med addisjon og skalarmultiplikasjon (og lukket under disse operasjonene) slik at:

Vektor-rom Lineær uavhengighet La V være et vektor-rom. La S  V. Spannet til S, sp S er sub-rommet til V bestående av alle lineærkombinasjoner av vektorer i S. Vektorene v1, v2,…,vn kalles lineært uavhengige hvis en lineærkombinasjon av disse lik 0, medfører at hver koeffisient er lik 0, ellers lineært avhengige (gjelder også for uendelig mange vektorer). En delmengde {v1, v2,…,vn} av vektorer i V kalles for en basis for V hvis V = sp {v1, v2,…,vn} og v1, v2,…,vn er lineært uavhengige. n kalles for dimensjonen til V.

Indre produkt-rom Def Et indre produkt-rom E er et vektor-rom sammen med en kompleks funksjon < |  > (samt norm og distanse) definert ved:

Indre produkt-rom R2 2.akse y-akse v e2 e1 Indre produkt Norm Distanse

Indre produkt-rom Rn Indre produkt Norm Distanse

Indre produkt-rom Eksempler Vektorer i Rn Vektorer i C2 Polynomer med ai C Kontinuerlige funksjoner på intervallet [a,b]

Indre produkt-rom Schwarz ulikhet - Triangel ulikhet - Parallellogram

Indre produkt-rom Schwarz ulikhet - Bevis

Indre produkt-rom Triangel ulikhet / Parallellogram - Bevis

Indre produkt-rom Ortogonal - Ortonormal Vektorene u og v sies å være ortogonale (skrives u  v) hvis <u|v> = 0. En vektor v sies å være ortogonal til en mengde M  E (skrives v  M) hvis v  m for alle m  M. Vektorer {v1,v2,…} kalles et ortogonalt system hvis vi  vj for i  j. Hvis i tillegg ||vi|| = 1 for alle i, kalles systemet ortonormalt. v3 v2 v1

Indre produkt-rom Ortonormal / Lineært uavhengig Et ortonormalt system {i} er lineært uavhengig. 3 2 Bevis: 1 Ethvert endelig-dimensjonalt indre produkt-rom har en ortonormal basis.

Indre produkt-rom Pythagoras Det Pythagoreiske teorem: u+v u v Bevis:

Indre produkt-rom Distanse Distansen d(v,S) fra et punkt v  E til en mengde S  E er definert ved: E S S s s v v-s v inf = Største nedre grense (Greatest lower bound) sup = Minste øvre grense (Least upper bound)

Indre produkt-rom Distanse fra en vektor til et underrom La M være et endelig-dimensjonalt underrom av E og la {1, 2,…, n} være en ortonormal basis for M. For hver vektor v  E vil vektoren w = <v|j> j være den entydige vektoren i M med egenskapen ||v-w|| = d(v,M) M w v-w v

Indre produkt-rom Distanse fra en vektor til et underrom - Bevis

Indre produkt-rom Normalitet til et underrom La M være et underrom av E. Anta at v  E og w  M. Da vil v-w  M hvis og bare hvis ||v-w|| = d(v,M). w v-w v Bevis:

Normert lineært rom Def Et normert lineært rom X er et vektor-rom sammen med en reell funksjon |||| definert ved:

Banach rom Def Et normert lineært rom X kalles komplett hvis enhver Cauchy-sekvens i X konvergerer. Et Banach rom B er et komplett normert lineært rom.

Hilbert rom Def Et Hilbert rom H over de komplekse tall C er definert ved: 1. H er et vektor-rom. Vektorer i H kan adderes og multipliseres med (komplekse) skalarer. 2. H har et indre produkt. 3. H er et komplett metrisk rom med hensyn til distanse definert ved dens norm.

Hilbert rom Cn Hilbert rommet Cn (n-tupler av komplekse tall).

Hilbert-rom L2([a,b]) Hilbert-rommet L2([a,b]) er mengden av alle kvadratisk integrerbare funksjoner på intervallet [a,b].

Hilbert-rom L2([a,b]) - Indre produkt L2 indre produkt på L2([a,b]) er definert ved:

Hilbert-rom L2([a,b]) - Indre produkt - Motivasjon f Diskretisering av f på intervallet [a,b] = [0,1]: 1

Hilbert rom L2[0,2] Hilbert rommet L2[0,2]

Hilbert rom L2[R] Hilbert rommet L2[-,+ ] = L2[R]

Hilbert rom Lp[R] Hilbert rommet Lp[-,+ ] = Lp[R]

Hilbert rom l2(A) Hilbert rommet l2(A) hvor A er en vilkårlig mengde (endelig, uendelig tellbar eller uendelig ikke-tellbar).

Hilbert rom Komplekse n-rom Det komplekse n-rom Cn består av mengden av alle n-tupler x = (x1,x2,…,xn) av komplekse tall med addisjon, skalarmultiplikasjon, indre produkt og norm definert ved:

Hilbert rom Konvekst rom - Def En mengde C  H kalles konveks hvis mengden {tx+(1-t)y | 0 <= t <= 1} er inneholdt i C for alle x,y  C. y y x x Konveks Ikke konveks

Hilbert rom Konvekst rom - Eks 1. Ethvert underrom av et Hilbert rom H er konveks. 2. Hvis x og y er vektorer i 2- eller 3-dim rommet C, så vil C være konveks hvis hele linjesegmentet som forbinder x og y er inneholdt i C. 3. r-ball Sr(x0) = { x | ||x-x0|| <=r} er konveks. 4. Megden av alle funksjoner i L2([a,b]) som er positive nesten overalt på [a,b] er konveks. 3 :

Hilbert rom Lukket rom - Def La S være et underrom av et Hilbert rom H. Lukningen (closure) av S er mengden av alle vektorer i H som er grensen av sekvenser av vektorer i S. Hvis lukningen av S er lik S, kalles S en lukket (closed) mengde.

Hilbert rom Lukket rom - Eks 1. Enhver r-ball i H er en lukket mengde. 2. Ethvert endeligdimensjonalt underrom av et Hilbert rom H, er lukket.

Hilbert rom Ortogonalt komplement La S  H. Det ortogonale komplement S til S er mengden {xH | x  S}

Hilbert rom Teorem La M være et lukket underrom til et Hilbert rom H. La y  H. Det eksisterer da en entydig w  M og en entydig v  M slik at y = w+v H M y v w M y = w + v Hvis M er et lukket underrom til et Hilbert rom H, så har vi (M)  = M.

Hilbert rom Teorem - Bevis

Hilbert rom Konvergens Def: Eks:

Hilbert rom Teorem Det indre produkt er kontinuerlig på H x H, dvs hvis xn -> x og yn -> y i H så har vi <xn,yn> -> <x,y> Bevis:

Hilbert rom Teorem

Hilbert rom Ortonormal basis Et ortonormalt system {1, 2,…} kalles en ortonormal basis for H hvis for hver v  H v = kkk for noen 1, 2,… i C Hver k = <y, k> kalles en Fourier-koeffisient til y

Hilbert rom Teorem

Hilbert rom Lineær-operatorer - Def En funksjon A : H1  H2 kalles en lineær operator hvis for alle x,y H1,   C : A(x+y) = A(x) + A(y) A(x) = A(x) A(x) skrives ofte Ax  = 0  A(0)=0

Hilbert rom Lineær-operatorer - Eks Til enhver n x n matrise av komplekse tall kan vi tilordne en lineær-operator A = (aij) : Cn  Cn gitt ved:

Hilbert rom Begrensede Lineær-operatorer - Def En lineær operator A : H1  H2 kalles begrenset hvis: Normen til A, skrevet ||A||, er definert ved: A er begrenset hvis og bare hvis den tar 1-ball S1 med senter 0 i H1 inn i en r-ball i H2. Den minste ballen i H2 som inneholder AS1 har radius ||A||.

Hilbert rom Begrensede Lineær-operatorer - Eks - Identitetsoperatoren Identitetsoperatoren I : H1  H1 gitt ved Ix = x er en begrenset lineær-operator med norm 1.

Hilbert rom Begrensede Lineær-operatorer - Eks - Matriseoperator Matrise-operatoren A = (aij) : Cn  Cn er en begrenset lineær-operator

Hilbert rom Begrensede Lineær-operatorer - Teoremer

Hilbert rom Mengden av begrensede lineær-operatorer - Def Mengden av begrensede lineær-operatorer A : H1  H2 betegnes L(H1,H2) Hvis H1 = H2 skrives L(H1) i stedet for L(H1,H1)

Hilbert rom Mengden av begrensede lineær-operatorer - Teoremer A,B  L(H1,H2) 

Hilbert rom Matriserepresentasjon av begrensede lineær-operatorer på et separabelt Hilbert rom x  H A  L(H) 1, 2, … ortonormal basis for H  Matrisen A = (aij) svarende til 1, 2, … er definert ved:

End