Evaluering Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris .

Presentasjon om: "Evaluering Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris ."— Utskrift av presentasjonen:

1 Evaluering Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris .

2 Direktoratet for forvaltning og IKT
Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris Bakgrunn: Offentlig virksomhet skulle kjøpe nytt saks- og arkivsystem og ny NOARK 5-kjerne til eksisterende saksbehandlingssystem. Ca 100 fysiske lokasjoner i hele landet Ca 2000 brukere 4-200 brukere per lokasjon Systemtekniske krav: Tilpasset ny tjenesteorientert arkitektur Systemet må kunne brukes til både saks- og fagarkivering NOARK 5 Anskaffelsen: LOA og FOA del I og III (over terskelverdi) Konkurranse med forhandling i 2 trinn Begrunnelse for forhandlet prosedyre: Komplekst system, stor anskaffelse og mange integrasjoner mot andre eksisterende systemer (ref. FOA 14-3 b) Tildeling basert på økonomisk mest fordelaktig Bruk av SSA-K og SSA-V (evt. SSA- T om mange tilpasninger) Avtaleperiode maks 8 år ( ). Merk: Vanligvis krever leverandøren at man har vedlikeholdsavtale så lenge man benytter systemet) Oppdatert Direktoratet for forvaltning og IKT

3 Direktoratet for forvaltning og IKT
Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris Tildelingskriterier Tildelingskriterier Vekting Teknisk og funksjonell løsning 40-50% Gjennomføringsplan % Totale kostnader % Tildelingskriteriene og underkriterier ble ytterligere beskrevet i konkurransegrunnlaget, og alle deler var gjenstand for forhandlinger. Alle krav ble vurdert i egen matrise. Teknisk og funksjonell løsning (endelig vekt: 50 %) evaluert ut fra: Egnethet av løsningen sett opp mot noe detaljerte tekniske og funksjonelle krav i kravspesifikasjonen (bilag 1, jf. SSA-K) Merverdi ved overoppfyllelse av enkelte krav som ble spesifisert i konkurransegrunnlaget Dato Direktoratet for forvaltning og IKT

4 Direktoratet for forvaltning og IKT
Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris 2) Gjennomføringsplan (endelig vekt: 30 %) evaluert ut fra: Detaljert fremdriftsplan – herunder realistisk fremdriftsplan, samt sikkerhet på at leveransen ble levert på tid ut fra reelle frister og milepæler Metodikk for gjennomføring av vedlikehold av løsningen med tanke på at oppdragsgiver hadde implementert ITIL-rammeverket og det var viktig at leverandøren hadde en metodikk som var kompatibel med ITIL Kompetanseoverføring og inkludering av kunden – oppdragsgiver skulle etter hvert implementere løsningen i stor grad på egenhånd, så de var viktig med kompetanseoverføring fra utrulling til første lokasjon. Samme tilbudt personell for både implementering og vedlikehold – oppdragsgiver mente det var viktig å ha samme personell i driftsfasen som ved implementeringsprosjektet Godt kvalifisert personell (basert på CV, erfaring fra prosjektledelse og tilsvarende prosjekter siden leverandøren skulle være prosjektleder) Gode vilkår på vedlikehold og support Tilbyders forslag til SLA – rutiner, responstid, rapportering. Dato Direktoratet for forvaltning og IKT

5 Direktoratet for forvaltning og IKT
Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris 3) Totale kostnader (endelig vekt: 20 %) ble lagt inn i en matrise der: Leveranse- og implementeringskostnader ble vektet 60% Anskaffelseskostnad (40%) Implementeringskostnad (10%) Timepriser for personell (15%) Opplæring (10%) Estimerte kostnader for ressursbehov fra kunden (10%) Evt. kostnader for dokumentasjon, reise, annet (15%) Vedlikeholdsutgifter regnet over hele avtaleperioden ble vektet 40% Vedlikehold og support basert på SLA (40%) Estimert ressursbehov fra kunden (10%) Evt. opplæringskostnader, reisekostnader, andre kostnader (15%) Opsjoner (30%) Prisreguleringsmekanismer (3%) LCC-elementer som kunden ikke har oversikt over men som tilbyder kan se for seg, for eks byttekostnader (2%) Kostnadselementene skulle fylles ut i tabeller i bilag 7 i kontraktene (SSA-K og SSA-V). Direktoratet for forvaltning og IKT

6 Evalueringsmatrise tildelingskriterier Vinner av konkurransen
Aggregeringsmatrise: Samler opp poengene per tildelingskriterium Evalueringsmatrise: Evaluerer sum av score per tildelingskriterium Evalueringsmatrise tildelingskriterier Tekniske og funksjonelle krav: Evaluering og scoregivning i aggregeringsmatrise Vedlikehold/support: Tildelingskriterium 1: Teknisk og funksjonell løsning Tildelingskriterium 3: Totale kostnader Vinner av konkurransen Tildelingskriterium 2: Gjennomføringsplan Gjennomføringsplan: Evaluering og scoregivning av i aggregeringsmatrise Beregninger av kostnader iht. underkriterier Aggregeringsmatrise SSA-K Aggregeringsmatrise SSA-V Dato Direktoratet for forvaltning og IKT

7 Direktoratet for forvaltning og IKT
Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris Evaluering – gjennomføring I Poengskala fra 1 til 6 (1=lavest, 6=høyest) Kravspesifikasjon på 100 krav (både for kjøp (SSA-K) og vedlikehold (SSA-V) Vekting basert på kravtype (ikke opplyst) Kravtyper: 28 A1-krav 48 A2-krav 33 B-krav 5 C-krav A1-krav: Absolutte krav som MÅ oppfylles, hvis ikke oppfylt avvises tilbudet. Kravet vurderes som oppfylt/ikke oppfylt og poengsettes ikke. A2-krav: Absolutte krav som MÅ oppfylles, hvis ikke oppfylt avvises tilbudet. Kravet poengsettes: Oppfylt, men ikke gir noen merverdi = 3 poeng Oppfylt og gir merverdi kan gis score 3 t.o.m 6 B-krav: Viktige krav som BØR oppfylles. Svar vil ha stor betydning for evaluering av tilbudet. Tillegges høyere vekt enn C-kravene. Poengsettes: Besvart og poengsettes fra 1 t.o.m 6. Toppscore er å anse som beste tilbudte løsning for det enkelte krav Ikke besvart = 0 poeng Ønskede krav: Kravet BØR kunne imøtekommes. Svar vil ha betydning for evaluering av tilbudet. Dato Direktoratet for forvaltning og IKT

8 Direktoratet for forvaltning og IKT
Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris Evaluering – gjennomføring II Hver enkel deltager i evalueringsteamet evaluerte individuelt, for så å gjennomgå evalueringen i fellesskap. De kravene det var uenighet om ble diskutert, slik at man endte opp med én score alle var enige om. Hvordan score ble gitt: Blank/mangelfull/umulig å evaluere = 0 (kommentere og til å sjekke ved forhandling) Delvis oppfylt = 1-2 Oppfylt og «tilfredsstillende» = 3 Bedre enn minimum = 4-6 Det var viktig å kun evaluere på de kriterier som var oppgitt, og ikke la seg påvirke av egenskaper som lå utenfor tildelingskriteriene, selv om disse kunne være svært positive Dato Direktoratet for forvaltning og IKT

9 Direktoratet for forvaltning og IKT
Evaluering – gjennomføring III Evalueringsmodellen som ble brukt var Poengsetting av pris (totalkost) > Forholdsmessig modell: Poengscore = 6 x Tallet 6 representerer høyeste score (poengskala fra 1 til 6) Modellen har en enkel formel, og skiller bra mellom tilbudene desto nærmere de ligger laveste pris. Ingen tilbud vil få 0 poeng eller minuspoeng. Ulempen med formelen er at den skiller dårligere mellom tilbudene som ligger langt over billigste pris. Hvilket tilbud som får høyest score kan også påvirkes av et irrelevant tilbud med lavest pris men dårlig kvalitet. KOFA har flere ganger behandlet hvorvidt dette avviket er så stort at poengscoren ikke kan sies å reflektere de relevante forskjellene i tilbudet (krav om proporsjonalitet mellom de målbare forskjellene i tilbudet, og forskjellene i de tildelte poeng). Dette er trolig en av de mest brukte modellene for evaluering av tilbud i Norge, og vil i de fleste tilfeller fungere bra. Men det er viktig å ikke låse seg til modellen før innkomne tilbud har blitt vurdert ift pris og kvalitet. Dato Direktoratet for forvaltning og IKT

10 Direktoratet for forvaltning og IKT
Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris Interaksjon med kvalifiserte og ikke-avviste leverandører: Avklaringsmøte med samtlige tilbydere der tilbyder fikk anledning til å vise demo av løsningen, og oppdragsgiver fikk rydde opp i evt. uklarheter Alle ikke-avviste tilbydere ble invitert til første forhandlingsmøte og fikk anledning til revidert tilbud Evaluering av revidert tilbud ble gjort på samme måte som første evaluering og evt. ny score ble notert hvor tilbudet var endret/forbedret De to beste tilbyderne ble invitert til forhandlingsrunde nr. 2, og fikk anledning til å inngi revidert tilbud Revidert tilbud fra de to beste tilbyderne ble evaluert på samme måte som forrige runde Innkomne tilbud: Oppdragsgiver fikk inn totalt fire tilbud Tilbudene varierte mye både på pris og kvalitet, blant annet var tilbudet med den beste tekniske løsningen hele fire ganger dyrere enn det rimeligste tilbudet ved første tilbud. Dato Direktoratet for forvaltning og IKT

11 Direktoratet for forvaltning og IKT
Evaluering – Læringseksempel 1: Kjøp av saks- og arkivsystem, poengsetting av pris, relativ til laveste pris Læring Tydelig bruk av SSA-kontraktene var positivt. Man «jobbet i kontrakt» gjennom hele prosessen Fordel med forhandlinger, der tilbyderne fikk anledning til å revidere sine tilbud, basert på tilbakemeldinger og diskusjoner med oppdragsgiver Etter hvert som tilbudene fra tilbyderne ble revidert og ble mer og mer «like», var det til slutt pris som ble avgjørende for at vinneren ble tildelt kontrakt. I tillegg er det ikke så mange tilbydere for sak-arkivløsninger i Norge, så ofte blir pris en sentral faktor. Dato Direktoratet for forvaltning og IKT

12