Introduksjon til småskalatesting og målinger

Småskalatesting i praksis!

Hvor er vi? Verdier og kultur Fritt oversatt etter IHI sin «System of Profound Knowledge

Forbedringsmodellen Test av ideer i liten skala før implementering 1. Hva ønsker vi å oppnå? 2. Når er en endring en forbedring? 3. Hvilke endringer kan iverksettes for å skape forbedring? Plan Do Study Act Test av ideer i liten skala før implementering Langley ET al. (2009)

Tiltak Hvilke endringer kan vi gjøre som vil føre til forbedringer? HUSK: All forbedring krever endring – men ikke alle endringer er forbedringer VI MÅ TESTE!

Implementering – tradisjonelt Planlegge Planlegge Høring Planlegge Godkjenne Ved skrivebordet Den ”virkelige” verden Implementere Reinertsen, Bisognano & Pugh (2008), modifisert av Christian von Plessen Johnny 6

Implementering ved testing Planlegge Godkjenne Ved skrivebordet Den ”virkelige” verden Teste og modifisere Teste og modifisere Teste og modifisere Implementere Johnny 7

Test tiltakene i lokal kontekst Systematisk gjennomføre en rekke PDSA-tester knyttet til de tiltak man forventer vil føre til en forbedring. Hvor raskt man lykkes med forbedringsarbeidet, handler ofte om hvor raskt man kommer i gang med testingen Denne fasen hjelper forbedringsteamet å forstå hvordan forslagene til endringer (spørsmål 3) kan gjennomføres i praksis. Det handler om utprøvning av endringene i liten skala før de gradvis testes ut i større skala. Hvor raskt man lykkes med forbedringsarbeidet, handler ofte om hvor raskt man kommer i gang med testingen. Småskala-testing handler om å systematisk gjennomføre en rekke PDSA-tester knyttet til de tiltak man forventer vil føre til en forbedring.

Tips for småskala-testing: Gjør testen mindre en du hadde tenkt Hver idé testes med flere PDSA sirkler Test i liten skala og skaler opp 1, 3, 5, 10 Test under mange forskjellige forhold Noen tips. Ikke forsøk å rulle ut noe, en sjekkliste en måte å gjøre noe på, før dere har prøvd det på noen veldig få først. Test ut hvordan ideene deres fungerer i praksis, på sengeposten, akuttmottaket, intensiven.

Gjør testen mindre en du hadde tenkt 17-10-04 Gjør testen mindre en du hadde tenkt 12

Småskala-testing: Det er kun en test dersom: Det er formet en HYPOTESE. Det vil si en teori om hva som vil skje dersom du gjør noe: hvis A, så B Den var planlagt (P), inkludert en plan for hvordan samle data Planen ble utført (D), og data ble samlet inn Data ble analysert (S) Videre handling (A) var basert på læring (S), og er enten; 1) flere tester av samme hypotese 2) reformulering av hypotesen eller 3) forkasting av hypotesen Tiltakene skal først testes ut i svært liten skala, på én enkelt eller noen få pasienter eller brukere (f.eks. neste pasient som kommer til poliklinisk konsultasjon skal få et utkast til et informasjonsskriv). Erfaringen fra testen diskuteres og tiltakene justeres ved behov før nye tester gjennomføres. Det er svært viktig å involvere teamet og de som vil bli berørt av endringene i utvikling og gjennomføring av testing. Ved hjelp av småskalatesting finner man hvilke tiltak som gir forbedringer i praksis og den beste mulige løsningen for gjennomføring av tiltakene tilpasset lokale forhold. Bunntekst

Huskeliste for hypotesetesting Antakelsen: Hvis A gjøres, så vil B inntreffe Testen: Gjorde vi A? Skjedde B? Læringen: Hva lærte vi? Hva kan vi gjøre annerledes neste gang?

PDSA-sirkel/småskalatest Enhet/Dato: Tiltak/handling Hvilket tiltak og konkrete handling er de vi tester? (spørsmål nr 3 i forbedringsmodellen, tilsvarer primær og/eller sekundærdriver i driverdiagram) Test nummer (Hvilket nummer i rekken av tester innenfor en syklus er dette) Arbeidshypotese (Ideen til hvordan) Hvilket resultat forventer vi ? (Hvis A gjøres, så vil B inntreffe) Neste skritt besluttes Testen er vellykket: Test hypotesen på flere og/eller under andre omstendigheter eller betingelser. Testen er delvis vellykket : Endre eller juster hypotesen. Testen er ikke vellykket: Forkast hypotesen og utarbeid en ny hypotese. Planlegg både testen og innsamling av informasjon Hva? Hvem? Hvor ? Når? Hvordan? A P Brukes til å planlegge og gjennomføre tester av ideer til hvordan tiltakene kan gjennomføres i praksis. Skjemaene bør markeres med hvilken test i rekken av tester dette er, og hvilken endring det er som testes. Erfaring gjort underveis bør lagres slik at man får oversikt over læring underveis. Skjemaet kan brukes i forbindelse med veiledning. S D Analyser og lær Sammenlign resultatet av testen med arbeidshypotesen Gikk det som forventet? Hva gikk ikke som forventet? Hvorfor? Hva lærte du? Utfør testen Kan det planlagte gjennomføres? Beskriv hva som faktisk skjedde under testen, og eventuelle uforutsette problemer og hendelser Noter eventuelle resultater eller data som er samlet inn i forbindelse med testen

Tester som ”feiler” er viktige! “I have not failed 700 times. I have not failed once. I have succeeded in proving that those 700 ways will not work. When I have eliminated the ways that will not work, I will find the way that will work." Edison Å gjøre ”feil” uten store konsekvenser for det daglige arbeidet Feil = læring Småskalatest reduserer risikoen for å ta feil Feilen kan føre til læring Test ofte og raskt – hva kan du teste i morgen HUSK å understreke at det er de erfaringene de gjør som pilot som er viktige – både det som fungerer OG det som ikke fungerer. På bakgrunn av det dere erfarer / oppdater i løpet av denne perioden, gjør vi justeringer i denne utforming av de tiltakene som er presentert i her.

Den menneskelige siden ved forandringer Rogers modell for spredning The final, and in many ways the most important and difficult, element of SoPK is about people. Indeed, management can create the best system, know all about variation and knowledge, and still not have a successful organization if they don’t understand people, and particularly what motivates them to want to do a good job. Dr. Deming understood the fundamental truth that people are different. Management must be aware of the differences and use them for optimization of everybody’s abilities and inclinations. He also understood that people are primarily motivated by intrinsic needs, including taking pride in workmanship and working with others to achieve common goals, in contrast to simply being motivated by monetary reward, which he viewed as a shortsighted external form of motivation. Not surprisingly, Dr. Deming rejected management-by-carrot-and-stick rewards, as well as other common practices, such as quotas and merit ratings, which seek to affix blame and reward to individuals. In their place, he urged management to create an environment of trust, relationships, interdependence and pride of workmanship.

Statistisk prosesskontroll og målinger i forbedringsarbeid

Hvor er vi? Verdier og kultur Fritt oversatt etter IHI sin «System of Profound Knowledge

FORSKNING frembringe ny generaliserbar kunnskap «Er behandling A mer effektiv enn behandling B?» FORBEDRINGSARBEID anvende forskningsresultater i lokal kontekst «Hvordan gå frem for å redusere avstanden mellom det vi vet vi bør gjøre (beste praksis), og det vi faktisk gjør?»

Forbedringsmodellen Plan Do Study Act 1. Hva ønsker vi å oppnå? 2. Når er en endring en forbedring? 3. Hvilke endringer kan iverksettes for å skape forbedring? Plan Do Study Act Langley ET al. (2009)

Tiltak Hvilke endringer kan vi gjøre som vil føre til forbedringer? HUSK: All forbedring krever endring – men ikke alle endringer er forbedringer Så – når er en endring en forbedring? VI MÅ MÅLE!

Hvorfor skal vi måle? Hvordan virker prosessene våre? Hva leverer vi? Hvor mye variasjon er det i prosessene/resultatene våre? Naturlig eller spesiell variasjon? Effekter av endringer? Har tiltakene våre ført til forbedringer? Er forbedringene våre varige over tid? Har endringene våre utilsiktede «bivirkninger»? Har vi nådd våre mål?

Data – unyttig/nyttig : Om data blir satt inn i en riktig sammenheng for analyse, kan de bli nyttig for beslutningstaking og forbedring Det er fortolkningen/analysen som gjør data til nyttig informasjon Median: Median er den midterste observasjonen når observasjonene er sortert i stigende rekkefølge.

Plot the dots!

Det er fortolkningen/analysen som gjør data til nyttig informasjon Vise til at det kommer mer om målinger på dag to Konklusjon: Om data blir satt inn i en riktig sammenheng for analyse, kan de bli nyttig for beslutningstaking og forbedring Det er fortolkningen/analysen som gjør data til nyttig informasjon

Ny prosedyre innført fra januar 1999 Eksempel på å ta beslutninger på grunnlag av feil data. 1998 1999 Ny prosedyre innført fra januar 1999 Brudvik og Nyen, 10.11.08 .

Samme data satt inn i en tidsserie Tidsserier gir oftest mer og riktigere informasjon Aggregerte data kan noen ganger lede oss til gale konklusjoner. Data satt i en tidsorden gir oss ikke bare god informasjon, men hjelper oss ofte til gode beslutninger! Brudvik og Nyen, 10.11.08

Forståelse av variasjon Alle prosesser varierer! Det finnes ulike typer variasjon (tilfeldig og ikke-tilfeldig). Forståelse av variasjon i et system/en prosess er en sentral del av forbedringskunnskapen. Eks. om det å komme tidsnok på jobb, ofte utsatt for tilfeldig variasjon.

Statistisk prosesskontroll (SPC) Enkle statistiske tester som sier noe om: Planlegging, er prosessen er stabil og forutsigbar? Nivå, er det stabile nivået i overensstemmelse med god praksis og ønsket kvalitet? Følge med på forbedring over tid, sikre at forbedringer dokumenteres. Sagt noe om hva – nå skal vi si noe om HVORDAN MÅLE? Og hvorfor Den metoden som anbefales i forbindelse med forbedringsarbeid, er statistisk prosesskontroll. Indikatorovervåkning med SPC har disse tre hovedformålene. Verktøyet er kanskje særlig sterkt i forhold til vurdering av variasjon. Det er viktig å identifisere ustabile prosesser. Selv om gjennomsnittsnivået er bra, kan en ustabil prosess gi enkeltresultater som er farlige. Hvorfor analyserer vi seriediagrammer? Til planlegging, til forbedring og til kontroll I forbindelse med planlegging av et forbedringsarbeid ønsker vi å få kjennskap til hvordan prosessen fungerer nå, er den stabil (tilfeldig variasjon) og gir det resultat vi ønsker? Er det tegn på ikke tilfeldig variasjon som er uønsket? I forbindelse med forbedring ønsker vi å dokumentere om vi gjør det vi sier vi skal gjøre og om den innsatsen vi gjør fører til ønskede forbedringer. I forbindelse med overvåking og kontroll av kritiske prosesser for å oppdage forverring i allerede fungerer på et tilfredsstillende nivå, men som raskt kan endre seg.

Vi ønsker å … vite hva status er Har vi et problem? Ustabile prosesser? Uønskede resultater? vite om tiltak skaper forbedring Hensikten med målingene er å gi oversikt over utvikling og forbedringer over tid ved den enkelte enhet dokumentere hva vi leverer Vise pasienter, pårørende, ledelse og oss selv hvordan våre tjenester er gi rom for refleksjon Målingene kan hjelpe oss til å reflektere over egen virksomhet og gir grunnlag for egen læring og utvikling. Hvorfor måler vi? Hvorfor er det så viktig? For å vite om vi har et problem. For å vite om en endring er en forbedring og følge utvikling over tid. For læring og refleksjon. For å kunne vite om de endringene og tiltakene man iverksetter virkelig fører til forbedringer må man kunne teste og måle endringene. For å gjennomføre dette trenger man noe spesifikke målinger som kan si om endringen og tiltakene leder forbedringsarbeidet i riktig retning. Målingene trenger ikke være kompliserte, man kan ha noen enkle målinger som man følger over tid. Data/målinger gir oss informasjon om: - Hvor godt vi arbeider i dag - Om vi har nådd et mål - Hvor stor variasjon det er i behandlingen vår - Hvorvidt det skjer forbedring «Antakelser er alle feils mor» Når man måler får man gjerne andre svar enn det man trodde på forhånd Uten objektive data sitter vi igjen med: - Spekulasjoner - Intuisjon - Subjektive observasjoner

Hva handler statistisk prosesskontroll (SPC) om? Måleresultatene plottes i en tidsserie og målingene fremstilles visuelt Run - diagram Hvordan fremstille data. Ved bruk av Extranett kommer disse dataene ut i form av tidsserier. Vi kan få god oversikt over forbedringsområdet vha. tidsserier Hva er et seriediagram? Hvem her har erfaring fra bruk av seriediagram?

Statistikk er som fortepper i et teater Statistikk er som fortepper i et teater. Det spennende er det som skjuler seg bak det. (Lars Erik Skovgård)

Mållinje Baseline

Hvordan analysere run-diagram? For mange er for få «runs» Sammenlikne det totale antall datapunkter som ikke er på medianen med en tabell som inneholder de nedre og øvre grenser for antall kjøringer (runs). Nivåskifte 6 eller flere etterfølgende datapunkter på samme side av medianen. Trend i dataene 5 eller flere etterfølgende punkter som stadig øker eller synker. Sporadiske avvik/astronomisk punkt Punkt som er åpenbart mye høyere eller lavere enn alle de andre punktene i diagrammet. Provost & Murray: The Health Care Data Guide. Provost & Murray: The Health Care Data Guide.

Ikke-tilfeldig variasjon Øvelse: Diskuter 2x2 Antal brugbare observationer = 88 Antal Kryds = 28 (36) Længste serie = 34 (9) Ikke-tilfeldig variasjon Er det et skift? (6 over eller under median) En trend? (5 stigende/synkende) Et astronomisk punkt? Hva finner dere her og hvorfor? Hvilke regler bruker dere? Et skift – hvorfor? Fordi det er 6 eller flere etterfølgende datapunkter over medianen.

Øvelse: Diskuter 2x2 Tilfeldig variasjon Antal brugbare observationer = 48 Antal Kryds = 18 (18) Længste serie = 8 (9) Er det et skift? En trend? Et astronomisk punkt? NB. Ville nok funnet ved at vi hadde testet med for mange / for få kjøringer (runs)

Øvelse: Diskuter 2x2 Astronomisk punkt Er det et skift? En trend? Et astronomisk punkt? Flere ting – det blotte øye tilsier at det er en redusksjon i variasjon. Medianen går ikke nødvendigvis ned, men det er noe som skjer med variasjonen. Og – noe særskilt med i alle fall et av punktene

Øvelse: Diskuter 2x2 Syklisk variasjon Er det et skift? En trend? Et astronomisk punkt?

Den gode indikatoren er: Meningsfull  Utrykker noe som har en betydning Spesifikk  Gir et troverdig uttrykk for det man ønsker å måle Sensitiv  Måler det vi faktisk skal måle, fanger opp endringer og utvikling i det vi skal måle Tilgjengelig  Datafangst er mulig og datakvaliteten er kjent Aktuell  Avspeiler den gjeldende praksis

Hvordan samle inn de nødvendige data? Hvilken indikator handler det om (navn og type) Definisjon/beskrivelse av den indikatoren (slik den er definert i tiltakspakken Hva skal være datakilden, hvor skal vi hente dataene fra Hvordan skal dataene hentes inn? Hvem skal gjøre det? Når skal det gjøres. Hvordan får vi dataene inn i databasen (Extranett) for å produsere seriediagrammer

Ulike metoder for datainnsamling KURVER TAVLER SAFETY CROSS EPJ PENN&PAPIR 3/6 = 50 % etterlevelse MEDISINSKE KVALITETSREGISTRE

Når tall skal kommunisere I dag fikk 2 av våre pasienter ikke målt sine fysiologiske parametere DEN GODE Mål lokalt Mål nå Mål smått Mål hyppig Mål prosesser Fjern nevneren I den siste måneden fikk over 90 % av våre pasienter målt sine fysiologiske parametere DEN ONDE https://rpubs.com/anhoej/badgraphs I fjor målte vi fysiologiske parametere 3,8 ganger pr innleggelse DEN GRUSOMME Jakob Anhøjs forelesning 10. september 2015

Vær kreativ! Kjenn ditt publikum Hva vil engasjere deres kolleger? Forstå hensikten med målingene hvorfor måler vi akkurat dette? Forstå hvordan data vil bli brukt Be om tilbakemelding Vær åpen– ikke vær redd for å feile Kombiner med historier / bilder etc.

Antar at det blir mer om tavlemøter senere? Resultatene må gjøres tilgjengelig, fremstilles hyppig og brukes aktivt for å danne nye hypoteser om hva som kan testes/forbedres!

Oppsummering Skap forståelse og oppmerksomhet omkring målingene Sikre «feedback» til de som samler data Ikke bare lever «meningsløse» diagrammer Ha faste møtepunkter for diskusjon omkring data med alle involverte Prøv ut nye og forskjellige (og kreative) måter å presentere resultatene på

Every system is perfectly designed to get the results it gets." Husk! Every system is perfectly designed to get the results it gets."                                  Paul Batalden, M.D.    (Dvs. fortsetter vi å gjøre tingene slik vi pleier å gjøre så vil vi få de resultatene vi pleier å få).