R.Vaagan JBI/HiO1 Evans & Zarnosky (2000) kap. 15: Evaluering 1990-tallet et evalueringstiår (evaluering, resultat, kostnadseffektivitet, akkreditering osv i fokus) Sentrale spørsmål ved evaluering: Hva er en gitt samlings fortrinn? Hvor effektiv har utgiftene til samlings- utvikling vært? Hvor nyttig er samlingen for brukerne? Hvordan er vår samling i forhold til andre?

R.Vaagan JBI/HiO2 Før en evaluering igangsettes må formålet og kriteriene klarlegges Ulike økonomiske, moralske, religiøse, estetiske, intellektuelle, utdanningsmessige, politiske og sosiale verdier virker inn Klarlegging av formål og kriterier før evalueringen igangsettes gjør tolkingen av resultatene etterpå lettere Komparative data for ulike/like biblioteks samlinger kan både være opplysende - og misvisende

R.Vaagan JBI/HiO3 Interne og eksterne evalueringsformål Internformål: –Samlingens bredde (temadekning) –Samlingens dybde (antall og type materiale) –Målgruppebruk (sirkulasjon/bruk innen bibl.) –Samlingens økonomiske verdi (pga forsikring og regnskap) –Samlingens sterke/svake sider (kvan./kval.) –Evt. problemer i samlingsutvikl.politikken –Evt. endringer i eksisterende saml.utv.pol?

R.Vaagan JBI/HiO4 –Utfører saml.utvikl.personalet jobbene sine tilfredsstillende? –Skaffe til veie data for mulige samarbeidstiltak –Skaffe til veie data for kassasjon/luking –Skaffe til veie data for evt. komplett inventar- oversikt –Avklare evt. behov for økonomisk tilskudd Eksternformål: –Fungerer biblioteket tilfredsstillende? –Er budsjettforslaget rimelig, tilstrekkelig? –Holder biblioteket mål i forhold til andre?

R.Vaagan JBI/HiO5 –Kan arealbehov dekkes ved kassasjon/luking? –Er samlingen ”gått ut på dato”? –Er samlingsutv. politikken koordinert? (dvs. trenger alle samlingene hva som det bes om?) –Er cost/benefit forholdet rimelig? –Skaffe til veie data for akkrediteringer –Skaffe til veie data for fundingfunksjonen –Skaffe til veie data for nettverk, konsortia og samarbeidsprogrammer –Skaffe til veie data for sponsorer

R.Vaagan JBI/HiO6 Når formål og kriterier er klarlagt er neste trinn å velge evalueringsmetode Flere metoder med ulike ambisjonsnivåer er mulige 5 generelle tilnærminger vanlige: –Lage statistikk på samlingen –Sjekke kataloger/bibliografier –Innhente synspunkter fra vanlige brukere –Undersøke samlingen direkte –Bruke standarder som viser kapasiteten mht dokumentforsyning, og brukernytte

R.Vaagan JBI/HiO7 Mange evalueringer har vært mangelfulle (jf. undersøkelse av 750 artikler) ALA Guide to Evaluation of Library Collections (1989) skiller mellom samlings- og brukerorienterte metoder: Samlingsorienterte metoder: –Sjekke mot oversikter, kataloger, bibliografier Trad. metode, brukes ofte innen akkreditering, Kan benyttes med online-programmer som OPAC. Innvendes ofte at tittelvalget var for selektivt, ILL sjekkes ikke, heller ikke dårlige titler. Omdiskutert metode,

R.Vaagan JBI/HiO8 –Ekspertuttalelser Ekspert, fagreferent, konsulent, akkrediterings- komité. Brukes sjelden alene. Hvilke metoder bruker ekspertene? Svært subjektiv metode. –Komparativ bibl.statistikk Problematisk fordi institusjonene gjerne er ulike. Selv to bibl. Som er like på overflaten kan ha ulike samlinger. Online programmer tilgjengelig: OCLC/ACAS, sml. figur 15.1 –Samlingsstandarder Mange standarder eksisterer for alle typer bibliotek. med en kvant./kval. blanding. Standards for College Libraries angir hva et slikt bibl. bør ha

R.Vaagan JBI/HiO9 Brukerorienterte metoder: –Sirkulasjonsstudier Stadig mer populært. Forutsetter at primærbrukerne generer sirkulasjonen og at sirkulasjonstall viser nytten ved samlingen. Måler bare utlån, ikke bruk av oppslagsverk og tidsskrifter i lesesaler –Brukerundersøkelser Trad. metode. Men brukerne kan være forutinnatte, vanemennesker. Ikke sikkert at stor brukermisnøye viser at noe er galt med samlingen, det kan være andre forhold (opplæring, markedsføring osv). –ILL-analyse Hvorfor benyttes innlån fra andre bibliotek?

R.Vaagan JBI/HiO10 ILL-data avdekker ofte hull i egne samlinger. Hvis hullene er store har biblioteket et problem. –Siteringsanalyse Særlig ved fagtidsskrifter. Fra et representativt utvalg av fagtidsskrifter kan siterte titler sjekkes mot egen samling. Variant av sjekklistemetoden men anvendt på forskningsmateriale. Vær klar over anglosaksisk dominans! –In-house brukerstudier –Hylletilgjengelighet –Simulasjonsstudier –Dokumentforsyningstester

R.Vaagan JBI/HiO11 Evaluering av elektroniske ressurser –McClure (1998) anbefaler kombinert metode hvor en måler: teknisk infrastruktur, informasjonsinnhold, støttefunksjoner og administrasjonsaspekter.

R.Vaagan JBI/HiO12 Konklusjon –evaluering ofte subjektiv, bør bruke flere metoder. Evans egen metode når han kalles inn som ekspert er: –Utvikle et sett kriterier for kvalitet/verdi –Trekk et tilfeldig utvalg fra samlingen og sjekk bruken –Sjekk data om etterspurte titler som ikke er tilgjengelig (ILL data) –Lag liste over titler fra lesebord og i traller (inhouse bruk)

R.Vaagan JBI/HiO13 –Lag en detaljert liste over ILL –Finn ut hvor mye utdatert materiale samlingen inneholder (realia >15 år som ikke er klassikere) –Se om og hvordan sjekklister brukes –Relatér funnene til bibliotekets målsetninger