Metodetriangulering i forvaltningsrevisjon.

Presentasjon om: "Metodetriangulering i forvaltningsrevisjon."— Utskrift av presentasjonen:

1 © Ole Jørgen Klaussen OJK OJKLysbilde 1 Ole Jørgen Klaussen Candidatus mercatorius Epost : post@olejk.com Metodetriangulering i forvaltningsrevisjon

2 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 2 Metodetriangulering i forvaltningsrevisjon Litt om metoder i kvalitativ og kvantitative undersøkelser Avrunding inn mot kommunale problemstillinger

3 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 3 Metode Hvorfor bruke samfunnsvitenskapelig metode i forvaltningsrevisjon? De fleste vil hevde at det finnes så mye god erfaring og kunnskap rundt om i organisasjonene at det vil være galt å ikke bruke denne erfaringen. Hvor relevant er den allmenne kunnskapen ?

4 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 4   sannhet, objektivitet  systematisk utvelging av data  nøyaktig bruk av data  avkrefte forhåndsoppfatninger  kontroll, etterprøving og kritikk  kumulativ  overgeneralisering  selektiv observasjon  for raske konklusjoner  haloeffekt  Mytedannelser Autoritet Media-myter Sunn fornuft Tillit Tradisjon Interne-myter

5 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 5 To metodetilnærminger: Brukes begge metodetilnærmingene kalles det metodetriangulering. Kvantitativ tilnærming Kvalitativ tilnærming Data som tallfestes Data i form av tekst Datainnsamling: spørreundersøkelse, eksperiment Datainnsamling: feltobservasjon, samtaleintervju Analyse: statistisk (telle) Analyse: hermeneutis k(tolke)

6 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 6 Valg av design (forskningsopplegg) - Metodetriangulering

7 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 7 Perspektiv og metode  Forklarende  kvantitativ tilnærming? sosiale fenomener må forklares: årsaksforklaringer og intensjonale forklaringer skille mellom fakta og verdier generalisering  Fortolkende  kvalitativ tilnærming? sosiale fenomener må fortolkes utover skjemaet for intensjonale forklaringer ikke klart skille mellom fakta og verdier overførbarhet

8 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 8 Data og virkelighet Hard virkelighet (umiddelbart tilgjengelig) Myk virkelighet (vanskelig tilgjengelig) Harde data (tall) Statistikk over arbeidsledige Spørreskjema for måling av personlighet Myke data (tekst) Åpne intervjuer om folks opplevelse av å være arbeidsledig Gruppeintervjuer om folks forståelse av produktkvalitet

9 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 9 Typisk kvantitativ og kvalitative problemstilling Hvilken sammenheng er det mellom foreldrenes utdanningsnivå og barnas utdanningsvalg? (kvantitative data vil gi noen svar) Hvordan opplever studenter møtet med universitetet? (kun kvalitative intervju vil kunne gi noen svar)

10 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 10 Den kvalitative metodes egenart Mål: Å forstå virkeligheten slik den oppfattes av de personene som forskeren studerer. Metoder: Intervju med vekt på personenes opplevelser og selvforståelse. Observasjon av hvordan personer forholder seg til hverandre. Dokumentanalyse av foreliggende tekster.

11 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 11 Kvalitativ tilnærming hva er det ? 1. Observasjonsdata 2. Tekst og dokumentasjon 3. Lyd og bildeopptak 4. Intervjudata, person og fokusgrupper Kombinasjoner av ovenstående. Studerer myk virkelighet Meningssammenhenger Går i dybden Helhetsforståelse Nærhet til den som studeres En kvalitativ tilnærming i forskning så skilles det mellom 4 hovedteknikker

12 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 12 Hvordan observere ? Forsker kan velge observasjonsmetode, og hvor forsker stiller seg selv i en av flere feltroller. FORSKER- ROLLE SKJULTÅPEN DELTAKER Fullstendig deltaker (INNTRENGER) Observerende deltaker IKKE DELTAKER Ren observatør (KIKKER) Deltakende observatør

13 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 13 Åpen eller skjult observasjon Hvilke etiske dilemmaer oppstår hvis forskeren går aktivt inn i et miljø uten å røpe sin identitet? Kan skjult observasjon forsvares i studier av elitegrupper Kan aktiv deltakelse (systematisk bruk av stimuli) forsvares?

14 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 14 Utvalg Kvalitative undersøkelser vil kunne bli ressurskrevende, og det vil bli store mengder informasjon som skal bearbeides, analyseres og tolkes. Kvalitative undersøkelser blir derfor gjerne intensive, hvor hensikten er å få mye informasjon fra et begrenset antall informanter.

15 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 15 Fellestrekk for alle kvalitative tilnærminger De data forskeren analyserer foreligger i form av tekst og ikke tall. Forskeren har direkte kontakt med de personene som studeres. Vektlegging av hvordan informantene opplevelser sin situasjon. Innlevelse blir derfor viktig for å oppnå forståelse.

16 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 16 Forholdet mellom forsker og informant Kvalitativ forskning Subjekt-subjekt-forhold mellom forsker og informant Det skjer et gjensidig påvirkningsforhold mellom forsker og informant Kvantitativ forskning Subjekt-objekt-forhold mellom forsker og informant Forskeren betraktes som en utenforstående iakttaker av de fenomenene som studeres

17 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 17 Kvalitative undersøkelser bør alltid bygge på en prosjektplan Hva undersøkelsen skal fokusere på (Problemstillingen og en begrunnelse for hvorfor denne er viktig). Hvem som kan være aktuelle informanter (Vanligvis strategiske utvalg). Hvor undersøkelsen skal utføres (Hvordan få adgang til feltet?). Hvordan den skal utføres (intervju, observasjon eller dokumentanalyse?).

18 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 18 Etiske retningslinjer for kvalitativ metode Datainnsamlingen må bygge på deltakernes informerte samtykke. Prinsippet om konfidensialitet i all rapportering (anonymiserte informanter). Forskeren må reflektere over hvilke konsekvenser forskningen kan få for deltakerne.

19 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 19 Hvilken metode bruker vi for å inn samle data? Kvantitative datainnsamlingsmetoder Utspørring Surveyintervju Observasjon Tallregistreringer fra observasjoner Kvantitativ analysemetoder Sammenligne enhetene (kostra) Kvalitative datainnsamlingsmetoder Utspørring Samtaleintervju Observasjon Notater fra observasjoner Kvalitativ analysemetoder Forstå hver enkelt enhet

20 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 20 Forholdet mellom kvalitative og kvantitative metoder Kvantitativ metoder vektlegger utbredelse og vektlegger antall (tall) Kvalitativ metode forsøker å gå i dybden og vektlegger betydning (tekst)

21 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 21 Mer prinsipielle skillelinjer mellom kvalitative og kvantitative metoder Kvalitative og kvantitative metoder er basert på ulike forskningslogikker I kvalitativ forskning bli enkeltstående enheter betraktet som uttrykk for en større helhet. Hver person representerer en større helhet. I kvantitativ forskning vil de enkeltstående enhetene til sammen utgjøre helheten. Hver person utgjør ”bare” en enhet.

22 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 22 Datatyper

23 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 23 Metodevalg Valg av metode vil være avhengig av hva vi vil undersøke.

24 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 24 Hvem og hva? Hvem skal vi undersøke? –Enheter – oftest mennesker, men også grupper, husholdninger, land eller gjenstander – journaler, artikler –Respondenter – personer som har svart på spørreskjema

25 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 25 Hvem – alle eller noen? Utvalgsteknikk –Populasjonen – undersøkelsens målgruppe Avgrensningsmuligheter? Register? Definisjon? –Utvalg – noen som representerer alle Sammensetningen i utvalget må tilsvare sammensetningen i populasjonen – det må være representativt

26 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 26 Spørreskjema Vanligste måte å samle inn kvantitative data på Mulig å samle inn data fra et stort antall enheter Tar utgangspunkt i undersøkelsens forskningsspørsmål Prinsippet er å stille så konkrete spørsmål som mulig! Tips: bruk gjerne allerede utviklede spørreskjema!

27 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 27 Hva spør vi om? Hva folk vet – kunnskaper Hva folk mener – holdninger Hva folk gjør – handlinger Folks vurderinger – opplevelser av seg selv og egen situasjon

28 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 28 Ulik grad av strukturering Spørreskjemaet kan være: –Prestrukturert – faste svar og svaralternativer –Åpent – ingen svaralternativer –Semistrukturert – en kombinasjon Kunnskap om feltet, omfang, antall enheter osv. avgjør grad av strukturering

29 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 29 Kausalitet Er det årsakssammenhenger mellom fenomenene ? At et fenomen er årsak til at et annet fenomen inntreffer. Årsak Effekt

30 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 30 Kausalitet  tidsrekkefølge– årsaken kommer før virkningen i tid  nærhet i tid og rom  nødvendighet  identiske omstendigheter  årsakslover

31 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 31 For å trekke en slutning om at det eksisterer en årsakssammenheng, må flg. betingelser være oppfylt: Det må kunne påvises en sammenheng mellom fenomenene Årsaken må komme før (evt samtidig med) effekten i tid Vi må ha tatt hensyn til og kontrollert for andre teoretisk relevante variabler Vi må gjøre nødvendige undersøkelser for å spore eventuelle spuriøse sammenhenger Er sammenhenger kausale?

32 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 32 Å velge variabler Verdien av alt forskningsarbeid er avhengig av hvor dyktig man er og hvilken kunnskap som legges til grunn når prosjektet blir utformet og gjennomført. Lønn Eks. Vi skal undersøke hva som påvirker folks lønnsnivå Utdanning Bedriftens lønnsomhet År i bedriften Kjønn ? Uavhengige variabler Avhengig variabel

33 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 33 Spuriøse sammenhenger: Størrelsen på føttene til barn Leseferdigheter eller Alder Leseferdigheter Størrelsen på føttene til barn Spuriøs?

34 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 34 Datainnsamling og tilrettelegging Intervjusituasjonen påvirker resultatet Intervjuformen påvirker resultatet Relasjonen mellom intervjuer og informant Usystematiske feil – slurv og rot ved innsamling Slurv og rot ved koding og tilrettelegging Unngå kontrolleffekt eller forskereffekt Post- eller personlig? På nøytralt sted? Tenk igjennom stil, klær, framtreden osv. Vær nøye, skap rutiner, lett å fylle ut riktig Bruk egnede verktøy (Excel eller lignende). Lag god kodebok

35 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 35 Innbyggere i kommuner. Grafisk fremstilling av absolutte tall. Dette gir liten mulighet for å sammenligne på tvers av kommunene.

36 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 36 Prosentuering.. Vi prosentuerer for å gjøre observasjoner nøytralt sammenlignbare. Prosentuering for hver kommune Gir at kommunene er direkte sammenlignbare tiltross for at de har helt forskjellig befolkningstall

37 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 37 Grafisk fremstilling, %vis Uavhengig av befolkningsmengde, kan vi nå sammenligne kommunene, med hvordan aldersgruppene er fordelt

38 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 38 Omsorg – omregnet til utgift pr eldre over 67 år Norske kommuner mellom 7500 og 8000 innbyggere

39 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 39 Omsorg pr innbygger over 67 år. 10 største norske kommuner

40 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 40 Omsorg pr innbygger over 67 år En kvantitativ analyse av kostra-data kan kun si noe om fakta. Og viser bare at det ER forskjeller mellom kommunene. Den sier ingenting om kvalitet, og den sier ingenting om hvordan ansatte, kundene eller de pårørende oppfatter situasjonen. En kvalitativ analyse med dybdeintervjuer av både ansatte, kunder (klienter og pårørende) vil kunne gi god dybdeinformasjon av situasjonen, og gir mulighet for å utforme spørreskjema En ny kvantitativ analyse med spørreskjema på kvalitet kan si noe om videre informasjon, og de kvantitative analysene gir dermed mulighet for en viss generalisering. Har vi, eller vil vi få ressurser til en slik undersøkelse ?

41 © Ole Jørgen Klaussen OJK 29.09.2016Lysbilde 41 ?