Kvalitetssikring av analyser til forskningsbruk

Presentasjon om: "Kvalitetssikring av analyser til forskningsbruk"— Utskrift av presentasjonen:

1 Kvalitetssikring av analyser til forskningsbruk

2 Kvalitetssikring av forskning
Akkrediterte metoder Kontrollprøver Kontrollkort etc, etc, etc….

3 Kvalitetssikring av forskning
Sovepute eller Akkrediterte metoder Kontrollprøver Kontrollkort etc, etc, etc….

4 Kvalitetssikring av forskning
Forskeren gjør sine forsøk

5 Kvalitetssikring av forskning
Forskeren gjør sine forsøk Laben gjør sine analyser Prøver

6 Kvalitetssikring av forskning
Forskeren gjør sine forsøk Laben gjør sine analyser Prøver Rapport Forskeren (eller noen andre) gjør statistikk

7 Kvalitetssikring av forskning
Nesten uten unntak handler eksperimentell forskning om å sammenligne to eller flere grupper

8 Kvalitetssikring av forskning
Nesten uten unntak handler eksperimentell forskning om å sammenligne to eller flere grupper To spørsmål å besvare: Er det forskjell mellom gruppene? Kan forskjellene mellom gruppene skyldes noe annet enn de eksperimentelle betingelsene?

9 Kvalitetssikring av forskning
Kvalitetssikringen må være basert på at det er disse to spørsmålene som skal besvares To spørsmål å besvare: Er det forskjell mellom gruppene? Kan forskjellene mellom gruppene skyldes noe annet enn de eksperimentelle betingelsene?

10 Kvalitetssikring av forskning Nøyaktighet og presisjon
Tradisjonelt er kvalitetssikringen i et analyselaboratorium veldig fokusert på nøyaktighet – og ofte mindre fokusert på presisjon God presisjon Dårlig nøyaktighet Dårlig presisjon God nøyaktighet? Dårlig presisjon Dårlig nøyaktighet God presisjon God nøyaktighet

11 What is the most important?
Good precision or good accuracy? Compare fat content in two types of sausages

12 What is the most important?
Good precision or good accuracy? 24 23 22 21 g fat / 100 g 20 19 18 17 16 Standard deviation = 1.6 (Precision)

13 What is the most important?
Good precision or good accuracy? 24 23 22 21 Avg 20.75 g fat / 100 g Avg 20.00 20 0.75 19 18 17 16 Standard deviation = 1.6 (Precision)

14 What is the most important?
Good precision or good accuracy? 24 23 22 21 A systematic deviation (low accuracy) has no influence on the difference between the groups g fat / 100 g 20 Avg 19.75 Avg 19.00 19 0.75 18 17 16 Standard deviation = 1.6 (Precision) – 1% systematic error (Accuracy)

15 What is the most important?
Good precision or good accuracy? 24 23 22 21 With better precision (lower standard deviation) we see more clearly that there is a systematic difference between the groups g fat / 100 g 20 Avg 19.75 Avg 19.00 19 0.75 18 17 16 Standard deviation = 0.3 (Precision) – 1% systematic error (Accuracy)

16 What is the most important?
Good precision or good accuracy? 24 23 22 When groups are compared with the same method: go for best precision. Accuracy is of limited importance 21 g fat / 100 g 20 Avg 19.75 Avg 19.00 19 0.75 18 17 16 Standard deviation = 0.3 (Precision) – 1% systematic error (Accuracy)

17 Precision and accuracy
Do what you can to minimize the effect of systematic errors and low accuracy Analyze all samples (groups) with the same method Analyze all samples (groups) in the same laboratories Analyze all samples (groups) at the same time If you can’t do this, ensure good accuracy!

18 Hvilket er å foretrekke?
Kontrollkort og sånt… Hvilket er å foretrekke? 6 8 10 12 14 16 18 Forventet Grense 18 16 Grense 14 Forventet 12 10 Grense 8 6

19 Kontrollkort og sånt… 18 16 Grense 14 Forventet 12 10 Grense 8 6

20 Kontrollkort og sånt… Gruppe 1 Gruppe 2 Gruppe 3 Gruppe 4 Grense
18 16 Grense 14 Forventet 12 10 Grense 8 6 Gruppe 1 Gruppe 2 Gruppe 3 Gruppe 4

21 Kontrollkort og sånt… Selv om kontrollprøven er innenfor grensen kan det være nok drift til å gi falske konklusjoner om gruppeforskjeller 18 16 Grense 14 Forventet 12 10 Grense 8 6 Gruppe 1 Gruppe 2 Gruppe 3 Gruppe 4 Den som gjør den statistiske analysen ser sjelden kontrollkortene

22 Unngås ved å analysere prøvene i randomisert rekkefølge
Kontrollkort og sånt… Unngås ved å analysere prøvene i randomisert rekkefølge 18 16 Grense 14 Forventet 12 10 Grense 8 6 Er det få prøver i hver gruppe anbefales spesielle design av sekvensen fremfor tilfeldig rekkefølge

23 Prøvetaking Usikkerheten i resultatet bestemmes av det som skjer på laboratoriet + det som skjer utenfor laboratoriet – dvs. prøvetakingen.

24 Prøvetaking Usikkerheten i resultatet bestemmes av det som skjer på laboratoriet + det som skjer utenfor laboratoriet – dvs. prøvetakingen. Det å ta en homogen og representativ prøve er ofte krevende, og bidraget fra prøvetakingen til usikkerhet er ofte (vanligvis) større enn bidraget fra analysen – da er det av liten betydning om vi kjenner detaljene om usikkerheten i analysen.

25 s2total = s2prøvetaking + s2analyse
Usikkerheten i resultatet bestemmes av det som skjer på laboratoriet + det som skjer utenfor laboratoriet – dvs. prøvetakingen. Det å ta en homogen og representativ prøve er ofte krevende, og bidraget fra prøvetakingen til usikkerhet er ofte (vanligvis) større enn bidraget fra analysen – da er det av liten betydning om vi kjenner detaljene om usikkerheten i analysen. Feilforplantning: s2total = s2prøvetaking + s2analyse Standardavvikene er kvadrerte, da blir bidraget fra det minste leddet ofte ubetydelig

26 s2total = s2prøvetaking + s2analyse
Usikkerheten i resultatet bestemmes av det som skjer på laboratoriet + det som skjer utenfor laboratoriet – dvs. prøvetakingen. Det å ta en homogen og representativ prøve er ofte krevende, og bidraget fra prøvetakingen til usikkerhet er ofte (vanligvis) større enn bidraget fra analysen – da er det av liten betydning om vi kjenner detaljene om usikkerheten i analysen. Feilforplantning: s2total = s2prøvetaking + s2analyse Standardavvikene er kvadrerte, da blir bidraget fra det minste leddet ofte ubetydelig

27 Hvor kan vi finne en representativ prøve her?
Prøvetaking ? Lake Eirie, USA/Canada The Huang He (Yellow River), China ? ? ? ? Hvor kan vi finne en representativ prøve her?

28 Et eksempel fra virkeligheten…
A shipload of grain… tonnes

29 Et eksempel fra virkeligheten…
A shipload of grain… That is not from the same field

30 Et eksempel fra virkeligheten…
A shipload of grain… To be analysed for aflatoxins Aflatoxin B1

31 Et eksempel fra virkeligheten…
A shipload of grain…

32 Et eksempel fra virkeligheten…
A shipload of grain…

33 Et eksempel fra virkeligheten…
A shipload of grain… 30 gram of tonnes … … gram (ratio: 1:109)

34 Prøvetaking og paralleller Gjennomsnitt av to kjemiske analyser
Det er vanlig å gjøre to kjemiske analyser av hver prøve og rapportere gjennomsnittet av disse Gjennomsnitt av to kjemiske analyser

35 Prøvetaking og paralleller
Gjennomsnitt av to kjemiske analyser Like mye arbeid men mye bedre

36 Prøvetaking og paralleller Like mye arbeid men mye bedre
Mulighet for å estimere den totale usikkerheten inklusiv prøvetakingen Usikkerheten blir også estimert fra prøvene som ble brukt i forsøket og ikke fra en kontrollprøve som kan være ganske lite relevant Like mye arbeid men mye bedre

37 Kort oppsummert Kvalitetssikring Sovepute Akkrediterte metoder
eller Akkrediterte metoder Kontrollprøver Kontrollkort etc, etc, etc….

38 Kort oppsummert Kvalitetssikring Sovepute Akkrediterte metoder
Kontrollprøver Kontrollkort etc, etc, etc…. Den interne kvalitetssikringen på laben er ikke nødvendigvis noe som fører til sikrere konklusjoner i forskningen

39 Kort oppsummert Kvalitetssikring Sovepute Akkrediterte metoder
Kontrollprøver Kontrollkort etc, etc, etc…. Den interne kvalitetssikringen på laben er ikke nødvendigvis noe som fører til sikrere konklusjoner i forskningen

40 Kort oppsummert Vi trenger å vite den totale usikkerheten, ikke bare usikkerheten i analysen. Vi trenger å vite at eventuelle forskjeller mellom gruppene ikke kan ha oppstått som følge av noe som har skjedd på laben.

41