Kvalitetssikring av analyser til forskningsbruk

Kvalitetssikring av forskning Akkrediterte metoder Kontrollprøver Kontrollkort etc, etc, etc….

Kvalitetssikring av forskning Sovepute eller Akkrediterte metoder Kontrollprøver Kontrollkort etc, etc, etc….

Kvalitetssikring av forskning Forskeren gjør sine forsøk

Kvalitetssikring av forskning Forskeren gjør sine forsøk Laben gjør sine analyser Prøver

Kvalitetssikring av forskning Forskeren gjør sine forsøk Laben gjør sine analyser Prøver Rapport Forskeren (eller noen andre) gjør statistikk

Kvalitetssikring av forskning Nesten uten unntak handler eksperimentell forskning om å sammenligne to eller flere grupper

Kvalitetssikring av forskning Nesten uten unntak handler eksperimentell forskning om å sammenligne to eller flere grupper To spørsmål å besvare: Er det forskjell mellom gruppene? Kan forskjellene mellom gruppene skyldes noe annet enn de eksperimentelle betingelsene?

Kvalitetssikring av forskning Kvalitetssikringen må være basert på at det er disse to spørsmålene som skal besvares To spørsmål å besvare: Er det forskjell mellom gruppene? Kan forskjellene mellom gruppene skyldes noe annet enn de eksperimentelle betingelsene?

Kvalitetssikring av forskning Nøyaktighet og presisjon Tradisjonelt er kvalitetssikringen i et analyselaboratorium veldig fokusert på nøyaktighet – og ofte mindre fokusert på presisjon God presisjon Dårlig nøyaktighet Dårlig presisjon God nøyaktighet? Dårlig presisjon Dårlig nøyaktighet God presisjon God nøyaktighet

What is the most important? Good precision or good accuracy? Compare fat content in two types of sausages

What is the most important? Good precision or good accuracy? 24 23 22 21 g fat / 100 g 20 19 18 17 16 Standard deviation = 1.6 (Precision)

What is the most important? Good precision or good accuracy? 24 23 22 21 Avg 20.75 g fat / 100 g Avg 20.00 20 0.75 19 18 17 16 Standard deviation = 1.6 (Precision)

What is the most important? Good precision or good accuracy? 24 23 22 21 A systematic deviation (low accuracy) has no influence on the difference between the groups g fat / 100 g 20 Avg 19.75 Avg 19.00 19 0.75 18 17 16 Standard deviation = 1.6 (Precision) – 1% systematic error (Accuracy)

What is the most important? Good precision or good accuracy? 24 23 22 21 With better precision (lower standard deviation) we see more clearly that there is a systematic difference between the groups g fat / 100 g 20 Avg 19.75 Avg 19.00 19 0.75 18 17 16 Standard deviation = 0.3 (Precision) – 1% systematic error (Accuracy)

What is the most important? Good precision or good accuracy? 24 23 22 When groups are compared with the same method: go for best precision. Accuracy is of limited importance 21 g fat / 100 g 20 Avg 19.75 Avg 19.00 19 0.75 18 17 16 Standard deviation = 0.3 (Precision) – 1% systematic error (Accuracy)

Precision and accuracy Do what you can to minimize the effect of systematic errors and low accuracy Analyze all samples (groups) with the same method Analyze all samples (groups) in the same laboratories Analyze all samples (groups) at the same time If you can’t do this, ensure good accuracy!

Hvilket er å foretrekke? Kontrollkort og sånt… Hvilket er å foretrekke? 6 8 10 12 14 16 18 Forventet Grense 18 16 Grense 14 Forventet 12 10 Grense 8 6

Kontrollkort og sånt… 18 16 Grense 14 Forventet 12 10 Grense 8 6

Kontrollkort og sånt… Gruppe 1 Gruppe 2 Gruppe 3 Gruppe 4 Grense 18 16 Grense 14 Forventet 12 10 Grense 8 6 Gruppe 1 Gruppe 2 Gruppe 3 Gruppe 4

Kontrollkort og sånt… Selv om kontrollprøven er innenfor grensen kan det være nok drift til å gi falske konklusjoner om gruppeforskjeller 18 16 Grense 14 Forventet 12 10 Grense 8 6 Gruppe 1 Gruppe 2 Gruppe 3 Gruppe 4 Den som gjør den statistiske analysen ser sjelden kontrollkortene

Unngås ved å analysere prøvene i randomisert rekkefølge Kontrollkort og sånt… Unngås ved å analysere prøvene i randomisert rekkefølge 18 16 Grense 14 Forventet 12 10 Grense 8 6 Er det få prøver i hver gruppe anbefales spesielle design av sekvensen fremfor tilfeldig rekkefølge

Prøvetaking Usikkerheten i resultatet bestemmes av det som skjer på laboratoriet + det som skjer utenfor laboratoriet – dvs. prøvetakingen.

Prøvetaking Usikkerheten i resultatet bestemmes av det som skjer på laboratoriet + det som skjer utenfor laboratoriet – dvs. prøvetakingen. Det å ta en homogen og representativ prøve er ofte krevende, og bidraget fra prøvetakingen til usikkerhet er ofte (vanligvis) større enn bidraget fra analysen – da er det av liten betydning om vi kjenner detaljene om usikkerheten i analysen.

s2total = s2prøvetaking + s2analyse Usikkerheten i resultatet bestemmes av det som skjer på laboratoriet + det som skjer utenfor laboratoriet – dvs. prøvetakingen. Det å ta en homogen og representativ prøve er ofte krevende, og bidraget fra prøvetakingen til usikkerhet er ofte (vanligvis) større enn bidraget fra analysen – da er det av liten betydning om vi kjenner detaljene om usikkerheten i analysen. Feilforplantning: s2total = s2prøvetaking + s2analyse Standardavvikene er kvadrerte, da blir bidraget fra det minste leddet ofte ubetydelig

s2total = s2prøvetaking + s2analyse Usikkerheten i resultatet bestemmes av det som skjer på laboratoriet + det som skjer utenfor laboratoriet – dvs. prøvetakingen. Det å ta en homogen og representativ prøve er ofte krevende, og bidraget fra prøvetakingen til usikkerhet er ofte (vanligvis) større enn bidraget fra analysen – da er det av liten betydning om vi kjenner detaljene om usikkerheten i analysen. Feilforplantning: s2total = s2prøvetaking + s2analyse Standardavvikene er kvadrerte, da blir bidraget fra det minste leddet ofte ubetydelig

Hvor kan vi finne en representativ prøve her? Prøvetaking ? Lake Eirie, USA/Canada The Huang He (Yellow River), China ? ? ? ? Hvor kan vi finne en representativ prøve her?

Et eksempel fra virkeligheten… A shipload of grain… 30.000 tonnes

Et eksempel fra virkeligheten… A shipload of grain… That is not from the same field

Et eksempel fra virkeligheten… A shipload of grain… To be analysed for aflatoxins Aflatoxin B1

Et eksempel fra virkeligheten… A shipload of grain…

Et eksempel fra virkeligheten… A shipload of grain…

Et eksempel fra virkeligheten… A shipload of grain… 30 gram of 30.000 tonnes … … 30.000.000.000 gram (ratio: 1:109)

Prøvetaking og paralleller Gjennomsnitt av to kjemiske analyser Det er vanlig å gjøre to kjemiske analyser av hver prøve og rapportere gjennomsnittet av disse Gjennomsnitt av to kjemiske analyser

Prøvetaking og paralleller Gjennomsnitt av to kjemiske analyser Like mye arbeid men mye bedre

Prøvetaking og paralleller Like mye arbeid men mye bedre Mulighet for å estimere den totale usikkerheten inklusiv prøvetakingen Usikkerheten blir også estimert fra prøvene som ble brukt i forsøket og ikke fra en kontrollprøve som kan være ganske lite relevant Like mye arbeid men mye bedre

Kort oppsummert Kvalitetssikring Sovepute Akkrediterte metoder eller Akkrediterte metoder Kontrollprøver Kontrollkort etc, etc, etc….

Kort oppsummert Kvalitetssikring Sovepute Akkrediterte metoder Kontrollprøver Kontrollkort etc, etc, etc…. Den interne kvalitetssikringen på laben er ikke nødvendigvis noe som fører til sikrere konklusjoner i forskningen

Kort oppsummert Kvalitetssikring Sovepute Akkrediterte metoder Kontrollprøver Kontrollkort etc, etc, etc…. Den interne kvalitetssikringen på laben er ikke nødvendigvis noe som fører til sikrere konklusjoner i forskningen

Kort oppsummert Vi trenger å vite den totale usikkerheten, ikke bare usikkerheten i analysen. Vi trenger å vite at eventuelle forskjeller mellom gruppene ikke kan ha oppstått som følge av noe som har skjedd på laben.