HVORDAN ANALYSERE OG PRESENTERE DATA?

Presentasjon om: "HVORDAN ANALYSERE OG PRESENTERE DATA?"— Utskrift av presentasjonen:

1

2 HVORDAN ANALYSERE OG PRESENTERE DATA?

3 Hvorfor har vi behov for å anvende statistikk?
Hvorfor inngår målinger i kampanjen? Hvorfor har vi behov for å anvende statistikk? Hva er begrunnelsen for kampanjens valg av metoden statistisk prosesskontroll?

4 Hvorfor måle?

5 Forbedringsmodellen Pasientsikkerhetskampanjen baserer sitt arbeid på Forbedringsmodellen («Model for Improvement») Forbedringsmodellen forutsetter at man starter arbeidet med forbedring med å besvare tre grunnleggende spørsmål.

6 Plan Do Study Act Hva ønsker vi å oppnå?
Hvordan vet vi at en endring er en forbedring? Hvilke endringer kan iverksettes for å skape forbedring? TILTAK (ENDRINGER) Plan Do Study Act

7 Plan Do Study Act Hva ønsker vi å oppnå?
Hvordan vet vi at en endring er en forbedring? Hvilke endringer kan iverksettes for å skape forbedring? TILTAK (ENDRINGER) Plan Do Study Act

8 MÅL MÅLINGER TILTAK (ENDRINGER) Plan Do Study Act

9 Hvorfor behov for statistikk?

10 Statistikk gir grunnlag for objektivitet
Enkelte målinger kan rett og slett være vanskelig å tolke uten hjelp av statistikkverktøy, og statistikk kan hjelpe oss til å forstå prosessens variasjon. Ved hjelp av statistikkverktøy kan man presentere måledata og resultater på en oversiktlig måte. Ved å benytte statistikk kan vi trekke statistisk sikre konklusjoner basert på våre måledata.

11 Statistisk sikker konklusjon
Ved å benytte statistikk kan vi trekke statistisk sikre konklusjoner basert på våre måledata. At en endring er signifikant betyr at vi med stor sikkerhet kan si at det skyldes en reell forskjell og ikke statistiske tilfeldigheter.

12 Hvorfor benytte metoden «statistisk prosesskontroll»?

13 31.12.2018 - www.pasientsikkerhetskampanjen.no
Jt Comm J Qual Improv Mar;23(3): The three faces of performance measurement: improvement, accountability, and research. Solberg LI, Mosser G, McDonald S. Source Group Health Foundation/Health Partners, Minneapolis, MN , USA. Abstract In the current climate of public accountability, many clinicians have become uncomfortable with any efforts to create measurement systems. That is unfortunate because measurements are absolutely essential to efforts for improving the processes of medical care. In their guideline implementation and measurement efforts, ISCI and the IMPROVE Project in Minnesota have gradually learned how to distinguish between measurement for improvement and that for accountability. Both approaches are different from the approach that physicians are used to in their encounters with medical research. Understanding these differences and respecting the confidentiality of individual medical groups has been crucial to moving past confusion and suspicion to genuine improvement actions involving multiple medical groups and their contracting managed care plans. PMID: [PubMed - indexed for MEDLINE]

14 The Three Faces of Performance Measurement: Improvement, Accountability, and Research Solberg et al., Joint Commission Journal on Quality Improvement. Mar 1997;23(3): Forskning Forbedring Kontroll Formål Skape ny viten Implementere eksisterende viten Dokumentere, bedømme og sammenlikne Hypotese Statisk Dynamisk Ingen hypotese Variasjon Kontrollér Studér Justér Stikkprøve ”Stor” ”Liten” Ingen stikkprøve Målehyppighet En eller få målinger Dager, uker, måneder Kvartaler, år Statistiske metoder Komparative metoder (t-test, chi2, regresjon,…) Prosessanalyse (statistisk prosesskontroll) Deskriptive metoder (gjennomsnitt, spredning,…) Jt Comm J Qual Improv Mar;23(3): The three faces of performance measurement: improvement, accountability, and research. Solberg LI, Mosser G, McDonald S. Source Group Health Foundation/Health Partners, Minneapolis, MN , USA. Abstract In the current climate of public accountability, many clinicians have become uncomfortable with any efforts to create measurement systems. That is unfortunate because measurements are absolutely essential to efforts for improving the processes of medical care. In their guideline implementation and measurement efforts, ISCI and the IMPROVE Project in Minnesota have gradually learned how to distinguish between measurement for improvement and that for accountability. Both approaches are different from the approach that physicians are used to in their encounters with medical research. Understanding these differences and respecting the confidentiality of individual medical groups has been crucial to moving past confusion and suspicion to genuine improvement actions involving multiple medical groups and their contracting managed care plans. PMID: [PubMed - indexed for MEDLINE]

15 Statistisk prosesskontroll vs. klassisk statistikk
I forskning benyttes vanligvis avansert statistikk. krever høy statistikkompetanse krever store datamengder I forbedringsarbeid kan man nøye seg med en enklere form for statistikk. Statistisk prosesskontroll (SPC) benyttes for å analysere kampanjens målinger. Dette kalles tidsserieanalyse. lav brukerterskel målingene presenteres visuelt man kan trekke statistisk sikre konklusjoner selv ved små datamengder

16 KOMPLISERT!

17 OUS Klinikk psykisk helse
Forebygging av selvmord: grafen viser etterlevelse av tiltakspakken per pasient (max poengsum=100): Baseline-målingen nede til venstre i diagrammet angir et oppstartsnivå på 60 %. Median-nivået for de to første målingene viser 70 % og 85 % for den tredje og siste målingen. 20 første utskrevne pasienter per måned Etterlevelse av tiltakspakken: Baseline-måling: 60 % Første og andre måling: 70 % Tredje måling: 85 %

18 Mer om statistisk prosesskontroll (SPC) og tidsserieanalyse

19 SPC benytter i hovedsak to typer diagram
Run-diagram (benyttes i Extranet) kun én type, mindre følsomt enn kontrolldiagram median benyttes som midtlinje benytter ikke kontrollgrenser (kan ikke si noe sikkert om stabilitet) tidsserien må være på min. 15 pkt (ekskl. pkt på median) Kontrolldiagram en rekke ulike typer for ulike case, mer følsom diagramtype aritmetisk gjennomsnitt benyttes som midtlinje benytter øvre og nedre kontrollgrense (+/- 3 standardavvik) tidsserien må være på mellom 20 og 30 pkt

20 Analyse av måledata registrert i Extranet ( bruk av sjekklista for trygg kirurgi ved SSHF Arendal )

21 Analyse av måledata vha run-diagram (i Extranet) ( samme data som på forrige slide: bruk av sjekklista for trygg kirurgi ved SSHF Arendal )

22 Analyse av måledata vha run-diagram (i Extranet) ( samme data som på forrige slide: bruk av sjekklista for trygg kirurgi ved SSHF Arendal ) |

23 Analyse av måledata vha kontrolldiagram (i EpiData) ( bruk av sjekklista ved SSHF Arendal )
4 målinger utenfor kontrollgrensene Spesiell variasjon, dvs ustabil prosess

24 Hva kan statistisk prosesskontroll (SPC) bidra med i forbedringsarbeid?
Måledata plottet i en tidsserie gir mulighet for variasjonskontroll stabile (forutsigbare) tjenester? nivåkontroll i overensstemmelse med god praksis/god kvalitet? «forbedringskontroll» sikre at forbedringer dokumenteres!

25 Tre aktuelle anvendelser av tidsserieanalyse
Gi oversikt over en prosess sin tilstand i forkant av planlegging av forbedringsstrategi Dokumentasjon av om innførte tiltak førte til forbedring Overvåkning og kontroll av prosesser som fungerer tilfredsstillende k

26 SPC kan hjelpe oss å skille mellom naturlig og spesiell variasjon
SPC hjelper oss å fastslå hvilke observasjoner som er normale og hvilke som ikke er normal for vår prosess (statistiske tilfeldigheter versus reelle forskjeller)

27 Variasjon og stabilitet

28 Variasjon er et sentral begrep innen statistikk
Alt kan sees på som prosesser Prosesser kan tale til oss gjennom målinger, ofte kalt «prosessens stemme» Prosesser varierer Naturlig variasjon (common causes) er innebygget i enhver prosess – opptrer tilfeldig Spesiell variasjon (special causes) skyldes påvirkning av prosessen utenfra

29 Naturlig variasjon vs. spesiell variasjon
Målingen under viser et ustabilt hjerte Målingen over viser et hjerte som arbeider normalt (stabilt)

30 Vi ønsker oss statistisk stabile prosesser!
Dersom vi kun observerer naturlig variasjon er prosessen statistisk stabil (forutsigbar) Dersom vi observerer spesiell variasjon regnes prosessen som ustabil (uforutsigbar) ønsket –> i første fase av et forbedringsarbeid uønsket

31 Forbedringsstrategien avhenger av variasjonstypen
Ved spesiell variasjon: Finn årsaken! uønsket variasjon: eliminer årsaken ønsket variasjon: implementer årsaken (tiltakspakken) Ved naturlig variasjon: Er dere tilfreds med prosessen? ikke tilfreds: etabler ny prosess (dagens prosess må justeres) tilfreds: overvåk prosessen videre

32 Hvordan vet vi at en endring er en forbedring
Hvordan vet vi at en endring er en forbedring? Ved å plotte de månedlige dataene i en tidsserie får vi et mer dynamisk bilde av situasjonen. Bedringen vi observerer skyldes ikke den nye prosedyren – den har sågar kanskje hatt en negativ effekt! Lærdom: Gå tettere på prosessen!

33 Gjennomsnittlig liggetid for tre utvalgte sykehus (merk deg at denne formen for statistikk ikke kan fortelle deg om prosessene er stabile eller ikke)

34 Stabil prosess. Naturlig eller spesiell variasjon
Stabil prosess? Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus B

35 Stabil prosess. Naturlig eller spesiell variasjon
Stabil prosess? Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus A

36 Stabil prosess. Naturlig eller spesiell variasjon
Stabil prosess? Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus C

37 Myntkast er et eksempel på tilfeldig variasjon
Myntkasteksemplet

38 Myntkast benyttet som forklaringsmodell for SPC
Myntkasteksemplet

39 For kampanjemålingene gjelder følgende: kun naturlig variasjon = statistisk stabil prosess
Dersom en prosessen kun inneholder naturlig variasjon, vil datapunktene være fordelt tilfeldig rundt medianen (man observerer ingen mønstre i dataene). Med tilfeldig menes at man aldri kan vite på forhånd på hvilken side av medianen neste punkt vil falle og at sannsynligheten for begge utfall er lik, dvs. 50 % (samt at datapunktene er uavhengige, det vil si at posisjonen til ett datapunkt ikke påvirker plasseringen av den neste). Dersom prosessen på et tidspunkt begynne å endres, dvs. at nivået stiger eller synker betydelig, endres disse forutsetningene, og det vil oppstå spesielle mønstre i datapunktenes fordeling. Disse mønstre kan vi kalle «signaler».

40 Eksempel på en måling fra trygg kirurgi (bruk av sjekkliste) Kun naturlig variasjon = statistisk stabil prosess

41 Hvordan vet vi at en endring representere en forbedring
Hvordan vet vi at en endring representere en forbedring? Praktisk fremgangsmåte

42 Hva må du gjøre for å finne ut om en endring utgjør en signifikant forbedring?
Plott dine måledata i et linjediagram (tidsserie) i Extranet vær nøye med at målepunktene registreres i riktig rekkefølge, dvs. nøyaktig i den rekkefølgen pasientene ble skrevet ut. Benytt «run-diagram»-modulen til å legge inn én eller flere medianer i run-diagrammet der det måtte være aktuelt Foreta en tidsserie-analyse, dvs. sjekke ut om noen av SPC-testene slår til for ditt run-diagram. vis én eller flere tester slår til: statistisk signifikant endring! hvis ingen tester slår til: ingen signifikant endring har funnet sted

43 Hva må du gjøre for å finne ut om en endring utgjør en signifikant forbedring?
Plott dine måledata i et linjediagram (tidsserie) i Extranet vær nøye med at målepunktene registreres i riktig rekkefølge, dvs. nøyaktig i den rekkefølgen pasientene ble skrevet ut. Benytt «run-diagram»-modulen til å legge inn én eller flere medianer i run-diagrammet der det måtte være aktuelt Foreta en tidsserie-analyse, dvs. sjekke ut om noen av SPC-testene slår til for ditt run-diagram. vis én eller flere tester slår til: statistisk signifikant endring! hvis ingen tester slår til: ingen signifikant endring har funnet sted

44 Hva må du gjøre for å finne ut om en endring utgjør en signifikant forbedring?
Plott dine måledata i et linjediagram (tidsserie) i Extranet vær nøye med at målepunktene registreres i riktig rekkefølge, dvs. nøyaktig i den rekkefølgen pasientene ble skrevet ut. Benytt «run-diagram»-modulen til å legge inn én eller flere medianer i run-diagrammet der det måtte være aktuelt Foreta en tidsserie-analyse, dvs. sjekke ut om noen av SPC-testene slår til for ditt run-diagram. vis én eller flere tester slår til: statistisk signifikant endring! hvis ingen tester slår til: ingen signifikant endring har funnet sted

45 Hva menes med en median i et run-diagram?
Medianen er en horisontal linje som deler tallmaterialet i to like store deler der tallene er ordnet etter størrelse Dersom tallmaterialet er oddetall utgjør den midterste verdien medianen. Dersom tallmaterialet er partall finner man medianen ved å legge sammen de to midterste verdiene og dele på to. Må ha minst 12 datapunkter før median kan plottes (15 pkt første gang, eksklusive punkter på medianen)

46 Måledata plottet i en tidsserie i Extranet

47 Måledata plottet i en tidsserie i Extranet
tidsserie med 21 punkter

48 Samme tidsserie med medianen plottet inn
10 punkter over medianen 10 punkter under medianen

49 Når kan det være grunnlag for å opprette en ny median?
I en tidsserie bør det opprettes en ny median på tidspunkt der det skjer grunnleggende endringer i prosessen (eksempelvis når et nytt nivå nås, jamfør forrige slide) der det eventuelt er opphold i målingene

50 Samme tidsserie på et senere tidspunkt

51 Hva må du gjøre for å finne ut om en endring utgjør en signifikant forbedring?
Plott dine måledata i et linjediagram (tidsserie) i Extranet vær nøye med at målepunktene registreres i riktig rekkefølge, dvs. nøyaktig i den rekkefølgen pasientene ble skrevet ut. Benytt «run-diagram»-modulen til å legge inn én eller flere medianer i run-diagrammet der det måtte være aktuelt Foreta en tidsserie-analyse, dvs. sjekke ut om noen av SPC-testene slår til for ditt run-diagram. vis én eller flere tester slår til: statistisk signifikant endring! hvis ingen tester slår til: ingen signifikant endring har funnet sted

52 Se etter målepunkter i ditt run-diagram som kan tyde på spesiell variasjon
Vi benytter 3 enkle SPC-tester for å sjekke om spesiell variasjon er tilstede i prosessen vår antall ganger grafen krysser medianen (+1) nivåskifte i prosessen trend i tillegg må vi være obs på eventuelle åpenbart avvikende punkt eller ev. sykliske mønstre (typisk sesong- eller døgnvariasjon)

53 SPC-test 1 antall ganger grafen krysser medianen - tell opp «antall ganger grafen krysser medianen» + 1 (men ikke ta med ev. punkter som ligger på medianen) - øvre og nedre grenseverdi kan man finne i en standardtabell, og de varierer med ant pkt i tidsserien

54 Antall krysninger + 1 = 5 +1 = 6

55 Tabell som angir det forventede ”antall krysninger + 1” av medianen i et run-diagram i forhold til antall punkter i tidsserien (kilde: F. Sweed and C. Eisenhart)

56 Test 2 nivåskifte i prosessen uvanlig mange pkt på samme side av medianen (8++), eksklusive eventuelle punkter på medianen vanlig å benytte grensen 7++ dersom tidsserien består av 20 eller færre punkter

57 Antall pkt på samme side av medianen = 8

58 31.12.2018 - www.pasientsikkerhetskampanjen.no

59 Test 3 trend uvanlig lang serie av etterfølgende punkter (7++) med økende eller synkende verdier (punkter med samme verdi som det foregående skal ikke telles med)

60 Har du full oversikt over dette linjediagrammet?
FORBEDRING? Ja, men her har vi behov for å analysere måledataene

61 Benytt run-diagram modulen i Extranet til å analysere tidsserien

62 Tidsserien fra forrige slide
analysert vha Extranets «run-diagram» modul

63 31.12.2018 - www.pasientsikkerhetskampanjen.no

64

65 Hvorfor er medianen lagt inn akkurat her?

66 Her finner vi 8 punkter på rad på samme side av medianen (indikerer en statistisk signifikant endring i vårt run-diagram)

67 Et eksempler hentet fra innsatsområdet forebygging av selvmord

68 Baseline-måling

69 Første måling

70 Andre måling

71 Tredje måling

72 31.12.2018 - www.pasientsikkerhetskampanjen.no

73 kontrolldiagram

74 Obs, noen ganger taler et linjediagram for seg selv
FORBEDRING? Ja, det er åpenbart at dette teamet har nådd sitt mål

75 3 oppgaver for å teste din SPC-kunnskap

76 Naturlig eller spesiell variasjon
Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus A (tidsserie med 30 pkt)

77 Sykehus A: Spesiell variasjon tilstede – her har man en ustabil prosess!
I dette eksemplet slår alle tre tester inn: for få krysninger av medianen: kun 3 krysninger til tross for at tidsserien inneholder 30 pkt. (sjekkverdien blir 3+1=4: ø.g. for 30 pkt er 21 og n.g. er 11) nivåskifte i prosessen: for mange pkt på samme side av (grensen overskrides ved 8++) trend: uvanlig lang serie av etterfølgende stigende/synkende punkter (overskrides ved 7++) Liggetiden øker så denne spesielle variasjonen er uønsket, prosessen går i negativ retning. (Hadde dette vært en del av et vellykket forbedringsarbeid ville grafen pekt nedover.)

78 Naturlig eller spesiell variasjon
Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus B (tidsserie med 30 pkt)

79 Naturlig eller spesiell variasjon
Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus B (tidsserie med 30 pkt)

80 Sykehus B: Spesiell variasjon tilstede – her har man en ustabil prosess!
I dette eksemplet slår én av tre tester inn Nivåskifte i prosessen: 9 pkt på samme side av medianen er for mange (grensen overskrides ved 8) Den spesielle variasjonen er muligens ønsket, da det her har skjedd noe som har fått liggetiden ned som jo er det ønskede mål. Men i etterkant av dette ser vi av grafen at datapunktene igjen ligger på oversiden av medianen, så her har man ikke i mål med forbedringsprosessen. Kan forbedringsteamet ha mistet fokus?

81 Naturlig eller spesiell variasjon
Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus B (tidsserie med 30 pkt)

82 Naturlig eller spesiell variasjon
Naturlig eller spesiell variasjon? Case: Liggetid ved sykehus C (tidsserie med 30 pkt)

83 Sykehus C: Ingen tegn til spesiell variasjon – her har man en stabil prosess!
Tidsserien inneholder mange krysninger av medianen. En opptelling gir sjekkverdien 20 (19 krysninger + 1) som er innenfor grenseverdiene angitt i standardtabell for en tidsserie bestående av 30 pkt (øvre grenseverdi for en tidsserie på 30 pkt er 21 og nedre grenseverdi er 11). I dette eksemplet slår ingen av våre tre tester inn, så statistisk sett er prosessen stabil. Men selv om vi har en stabil prosess er det ikke dermed sagt at man er fornøyd med nivået (ca 3 liggedager) og kanskje er variasjonen også større enn ønsket.

84 Statistisk prosesskontroll oppsummert
SPC er et statistisk verktøy som på objektivt vis kan hjelpe oss til å forstå fortiden forutsi fremtiden handle i nåtid

85 TAKK FOR DIN INNSATS SÅ LANGT I KAMPANJEN! LYKKE TIL VIDERE 

86