1 Multimodal discource Seminar i MSD-gruppa 2. sept. 2008

2 Multimodalitetsteori •Avdekker systemer for meningsskaping innen ulike modaliteter –bildets semiotikk –arkitekturens semiotikk –musikkens semiotikk –kroppsspråkets semiotikk –etc. •Avdekker mønstre for samspill mellom modalitetene i praktisk bruk

3 En modalitet kan ha ulike lag av mening – både konvensjonelt og sensorisk betinget •Tale –ord (konvensjon) –tone (konvensjon/sansning) –stemmekvalitet (sansopplevelse) •trygg og rolig eller høy og nervøs? •Noen lag skaper semantisk,rasjonell mening, andre skaper estetisk, emosjonell mening •De sansemessige meningslagene kan vanskelig oversettes til andre modaliteter!

4 Har alle modaliteter en grammatikk? •Modalitetenes grammatikk er utviklet i ulik grad •Alle modaliteter har konvensjoner for FRAMINGFRAMING –nærhet-avstand –likhet-kontrast •Framing skaper koherens gjennom fragmentering og integrasjon (definerer deler og helheter, atskillelse og sammenheng)

5 Fire dimensjoner ved (moderne) meningsskapende prosesser (tenk: kampanje for klimakvoter) •Diskurs – forstått som ”kunnskapsregime” –Hva vil jeg si? •Design – forstått som planleggingen av en kommunikasjonshandling –Hvordan vi jeg si det? •Produksjon – formulering og materiell realisering –Hvordan skal jeg lage teksten? •Distribusjon – bringe innholdet helt fram til mottaker –Hvordan få mottakeren til å motta min tekst og mitt budskap – og respondere?

6 NB! •Alle dimensjonene legger premisser for hva slags innhold som kan formidles. •I dag er produksjons- og distribusjonsdimensjonene blitt svært viktige faktorer i meningsskapingen (jf. MacLuhans ”The medium is the message”)

7 Atskilte eller integrerte prosesser? •I noen kommunikasjonspraksiser glir alle dimensjonene i ett – i andre er de tydelig atskilt (jf. samtale vs reklamefilm. Hva med hårfrisyre?)

8 Design •Oppdage og velge ut tilgjengelige modaliteter •Bestemme en funksjonell spesialisering for modalitetene •Organisere hver modalitet og sammensetningen av dem til en koherent helhet

9 Oppdage og velge ut modaliteter •Hva er tilgjengelige modaliteter i en klasseromssituasjon? • Kan være –tale –skrift –kropp-i-rom (?) –Programvare (?) –gester –bilder –objekter –Klær (?)

10 Lærerforberedelse som design •Hvilke modaliteter inkluderes i designen og hvilke aktiveres først i produksjonen? •I designen: skrift, planlagt tale, objekter •Først i produksjonen: kroppsbevegelser, gester, realisert tale

11 Fra intuisjon til design (fra ubevisst til bevisst bruk av modaliteter) •Grensen mellom design og produksjon vil variere ihht sjanger og situasjon •For at en modalitet skal kunne inkluderes i en design, må den være konvensjonalisert (ha en ”grammatikk”). •I hvilke domener inngår kroppsspråket i designen? –I teateret, i medietreningskurs for politikere, i opplæring av dobbeltagenter…

12 Hva betyr det at en modalitet konvensjonaliseres? •Gjennom langvarig bruk i en kultur blir uttrykkskraften utviklet og allment kjent. •Det utvikles en terminologi som beskriver brukens lovmessigheter. •Jo svakere modalitet, jo mer kontekstavhengig er dens lovmessigheter. •farge-som–modalitet: konvensjonene avhenger av konteksten (mote, politikk, kjærlighet, typografi..)

13 •Funksjonell spesialisering –Ulike modaliteter har ulike semiotiske egenskaper. Hva skal tale, skrift og bilde brukes til? Avgjøres i designen. Foregrounding –handler om hva som til enhver tid er i forgrunnen og i bakgrunnen. –Eksempel: Musikkens rolle i skrekkfilmer. Vekselvis i forgrunn og i bakgrunnskrekkfilmer

14 Designeren står mellom to krav •Krav om å forholde seg til normer og konvensjoner •Krav om å finne på noe nytt, være kreativ •Det styrende momentet vil alltid være designens målsetting, intensjonen •Iblant vil designens intensjon føre til at veletablerte normer blir brutt.

15 Design og produksjon – glidende overgang? •Produksjon handler i denne konteksten om KOMMUNIKATIV anvendelse av medier, av materielle ressurser. •Man mener noe med MÅTEN man bruker mediet på. •..eller mottakeren knytter mening til MÅTEN mediet blir brukt på

16 Meningsskaping i produksjonsleddet •”Provenance” = meningsoverføring fra et gjenkjennelig opphav. (Imitasjon av en dialekt, en kjendis etc. Kle seg i Hawaii- skjorte. Anlegge rockabilly-sveis) •Erfaringsbasert mening = meningsskaping basert på egne erfaringer med uttrykket (f.eks: høy stemme = sint).

17 Eksempler på meningsskaping knyttet til produksjonen •stemmebruk, dialekt, kroppsspråk, klær – i dagligliv vs på scenen. Hva er forskjellen? •du etterlikner Mark Knopfler når du spiller gitar ved leirbålet •du skriver med pen og ryddig håndskrift i brevet til tante •Du bearbeider bildet kraftig og synlig i Photoshop

18 Stemmen som meningsbærer •Mangler (delvis) en grammatikk for stemmebruk. En svak modalitet. •Men bærer mening gjennom imitasjon (jf.standup) og egenerfaring. •Hva gjør Madonnas stemmebruk flertydig? (og hva uttrykker flertydigheten?Madonnasflertydig

19 Når produksjon og distribusjon nærmer seg sammensmelting.. •Fokus på medierte diskurser •Fokus på teknologier for opptak/lagring (recording), redigering (editing) og utsending (transmitting) •Tilføres det ny mening i disse prosessene?

20 Masseproduksjonen fører til tap.. •av tilstedeværelse, kroppslighet •av multimodal rikdom. Innebærer en semiotisk reduksjon •av kontekst –av et spesifikt tidspunkt og sted –Opplevelsen av en unik hendelse •Mister dermed referanser for opprinnelig/spesifikk mening

21 …men også til gevinster •gir mulighet for rekontekstualisering –konserten kontekstualiseres i filmen av intervjuer, klipp fra riggingen etc. –Både konserten, fenomenet og filmen kontekstualiseres på nettet av anmeldelser, omtaler etc –Individuell rekontekstualisering av den enkelte kinogjenger. Ny situasjonskontekst •Åpner for kunstnerisk behandling gjennom redigering, klipping etc •Ofte en fascinasjonseffekt ved remediering til nye medier

22 Historiske distribusjonsrevolusjoner •Teknologier for opptak, kopiering og distribusjon har ført til en rekke revolusjoner: •Tale til skrift: skrive-/trykketeknologi •Maleri til foto: fotokameraet •Konsert til plate: opptaksteknologi •Drama til film: filmkameraet •Fører til økt tilgjengelighet og nye kunst-, tekst- og bevissthetsformer

23 Distribusjon som språk •Medier brukes til ”mediering”: opptak og distribusjon av innhold •Men kan også brukes til transformasjon av tekster og til å frembringe nye sjangre •Tre faser i utviklingen av et nytt medium –distribusjon av gamle sjangre –medietilpasning av gamle sjangre –nye mediespesifikke sjangre –I siste fase vil ofte produksjon og distribusjon smelte sammen •Foto: dokumentasjon vs kunstdokumentasjonkunst •Film: minimalisme vs konstruktivisme –”usynlig” kamerabruk –eller utnytte filmens virkelighetsreduksjon kunstnerisk?

24 Transformasjon som budskap •Mixing og remixing av musikk: ny sjanger (innhold, form, funksjon)? •Dance-musikk inviterer ikke til lytting men til deltakelseDance-musikk •Hvordan kan bearbeiding av filmklipp tilføre ny mening til selve opptaket? •Hurtig klipping, bilde-i-bilde: ”moderne urbanitet” •i svart/hvitt, med riper og dårlig lyd: ”gamle dager”