Elektroniske spørreundersøkelser ved UiO Per H. Jacobsen, USIT/ITF/FT

Presentasjon om: "Elektroniske spørreundersøkelser ved UiO Per H. Jacobsen, USIT/ITF/FT"— Utskrift av presentasjonen:

1 Elektroniske spørreundersøkelser ved UiO Per H. Jacobsen, USIT/ITF/FT

2 Fasene • Planlegging • Gjennomføring • Analyse • Rapportering

3 Programmene I de ulike fasene trenger vi kompetanse på (eller kjennskap til): • Surveysystemet: Nettskjema, Questback (eller andre) • Analyseverktøyet: Excel, SPSS (eller andre) • Rapportverktøyet: Word, PowerPoint (eller andre) • Funksjonalitet: Nettskjema mot røkla

4 Planlegging • Rendyrking av problemstilling • Fastlegging av rammer – Økonomi, tidsbruk, tidsfrister, omfang • Nedfelling av prosjektinformasjon • Utforming av spørsmål • Populasjon & utvalg • Språkvalg

5 Personvern • Som UiO-ansatt plikter du å følge gjeldende lover og regler for innsamling og bruk av [person]data: Personopplysningsloven: IT-reglementet ved UiO: NSD*: *NSD = Norsk samfunnsvitenskapelig Datatjeneste

6

7

8

9 Gjennomføring • Skjemabygging – Preview & korrektur av skjemaet • Respondenthåntering • Anonymitet • Skjemastruktur

10 Skjemabygging Skjematittel som kommer aller først i skjemaet og er navnet på undersøkelsen. Logo, f.eks. for UiO. Logo er spesielt viktig hvis flere instanser står bak undersøkelsen, eller (noen av) respondentene kommer utenfra UiO. Beskrivelse av undersøkelsen. Beskrivelsen bør være kort [dette skal ikke være en leseprøve for respondenten]. Den bør i det minste si hvem som utfører undersøkelsen, hva som er hensikten med den og hvorfor vedkommende er invitert til å delta. Videre kan det tas med svarfrist og andre relevante opplysninger, f.eks. om hvor man kan henvende for teknisk brukerstøtte. Beskrivelsen bør «signeres». «Takk-for-deltagelsen»-notis. E-posttekst for invitasjon til deltakelse og nettadresse [url] til selve skjemaet. Kort, høflig e-post med beskrivelse av undersøkelsen og lenke til skjema. E-posttekst for påminnelser om undersøkelsen underveis for de som ikke har svart ennå. Ditto, men bør ikke sendes for ofte. Tommelfingerrregel: la det gå fem arbeidsdager før første påminnelse. Tre–fire påminnelser er smertegrensen for en undersøkelse som er åpne for besvarelse tre–fire uker. Skjemalayout i form av pynt, bakgrunn, farger, typografi, alt etter hvilke muligheter surveysystemet har. Start- og sluttdato for undersøkelsen. Valg av anonymitet eller ikke. Valg av antall besvarelser samme respondent kan sende inn.

11 Skjemabygging Eksempel: Startsider i Nettskjema.

12

13 Spørsmålene våre • Spørsmålstyper – Åpne spørsmål, lukkede [prekodete] spørsmål, matrise-spørsmål – Envalgs-spørsmål, flervalgs-spørsmål • Svaralternativer – Må være uttømmende – Må være gjensidig utelukkende

14 Spørsmålene våre

15 Spørsmålene våre

16 Korrektur & preview Korrektur er svært viktig av flere grunner; et slurvete skjema med mange skrivefeil frister ikke. Mange surveysystemer har en preview-funksjon som lar oss se skjemaet på skjerm slik det blir seende ut for respondentene etterhvert som vi bygger det opp, og før det sendes ut til massene. Vi ønsker å sjekke nøye at alle spørsmål presenteres med riktig tekst og utseende. Vi ønsker å prøvekjøre skjemaet selv ved å liksom-besvare det og se at «leamikken» fungerer. Vi ønsker å luke ut skrivefeil og annet pirk.

17 E-poster • Elektroniske spørreundersøkelser sendes gjerne ut pr. e-post og vi må derfor ha korrekt e-postadresse til alle respondentene. • En slik e-postliste kan være lett å sette sammen, men kan også være tidkrevende å lage. • Det er ukomplisert å ta en slik liste og overføre adressene til surveysystemet. Listen består gjerne av én e-postadresse pr. linje i vanlig tekstformat. Da kan vi klippe & lime adressene fra f.eks. Word eller Excel og til Nettskjema eller et annet system. • Alternativt kan man publisere nettadressen (url) til spørreskjemaet på en nettside.

18 Respondentene

19 Anonymitet I anonyme undersøkelser kan ikke vi som «skjemaeier» finne tilbake til hvem som har svart [og hva]. Nettskjema gir oss tre valg: Vi kan la «alle» besvare undersøkelsen Vi kan la UiO-brukere (og eventuelle andre inviterte) delta Vi kan invitere de som skal få være med QuestBack er ikke spesielt tilpasset UiO og har ikke løsning for å ha alle UiO-brukere som respondenter [men vi kan godt lage og bruke en respondentliste som består av alle UiO-brukere]. Her er det tre valg: Systemvalgt anonymitet hvor QuestBack betrakter alle besvarte skjemaer som anonyme. Selvvalgt anonymitet hvor respondenten selv velger å være anonym eller ikke. Ingen anonymitet.

20 Skjemastruktur Vi kan dele inn skjemaet i flere sider [skjermbilder] slik at det etter et antall spørsmål er en «Neste-knapp» som leder oss til neste skjermbilde samt %-angivelse av hvor lang man har kommet med besvarelsen av det totale skjemaet. Nettskjema og Questback har dessuten mulighet for å merke av obligatoriske spørsmål [mandatory questions] som må besvares for at respondentene skal komme videre i besvarelsen. Begge systemene har dessuten funksjoner for ruting i skjemaet. Avhengig av svaret på et spørsmål fortsetter besvarelsen med neste spørsmål på skjemaet, eller man ledes til et senere spørsmål og fortsetter derfra.

21 Gjennomføring • Åpning av undersøkelsen • Ettersyn & kontroll underveis; fungerer alt som det skal? • Håndtere e-post & andre henvendelser fra potensielle respondenter • Løsning av eventuelle tekniske problemer • Sørge for å sende ut påminnelser • Holde øye med svarprosenten • Eventuelt justere svarfristen for å få inn flere svar…

22 Analyse & rapportering
• Nettskjema kan overføre dataene til Excel, og derfra kan de overføres videre til SPSS for videre analyser. • Questback og andre systemer har mer avanserte rapporteringsmuligheter direkte fra systemet i form av web-publisering av rapporter med mer. • Du må ofte regne med litt datamekking før du går i gang med analysene, for eksempel omkoding av variabler, redigering av variabelnavn, verditekster, håndtering av manglende data med mer. Dette krever kompetanse i SPSS og/eller Excel.

23 Feilkilder Utvalgsmetoden. Vi kan bomme på utvalget vårt ved å bruke feilaktig utvalgsmetode og f.eks. får systematiske skjevheter i dataene. Innsamlingsmetoden. Vi kan bomme på innsamlingsmetoden med et dårlig spørreskjema, eller bruke et surveyopplegg som ikke fungerer godt. Respondenten. Vi må ta i betraktning at respondenten kanskje ikke svarer sannferdig Spørsmålene. Kanksje ikke spørsmålene er gode nok i forhold til problemstillingene våre slik at vi ikke får målt det vi trenger. Databehandlingen. Vi kan gjøre blemmer i databehandlingen f.eks. ved å foreta feilaktige omkodinger, omregninger eller andre endringer av data. Analysene. Vi komme til å trekke feilslutninger i analysene våre gjennom feilaktig bruk av statistiske mål og metoder

24 Mer om survey-metoden Vi rekker ikke å komme inn på slike ting som: • Populasjoner • Utvalgsmetoder • Konfindensintervall og -nivå • Målenivå • Validitet & reliabilitet

25 «Krasjkurs» Eller oppsøk litteraturen… Lykke til!

26 Takk for at du deltok på Lynkursdagene!
For å bli bedre, må vi ha tilbakemeldinger, så fyll ut evalueringsskjemaet som enten ligger på plassen din eller ved døra. Skjemaet kan leveres på standen i første etasje, hvor det også er belønning å få, eller du kan la det ligge igjen i rommet, så blir det samlet inn.