Forelesning Bruk av maskinlæring i saksbehandlingen i Lånekassen

Presentasjon om: "Forelesning Bruk av maskinlæring i saksbehandlingen i Lånekassen"— Utskrift av presentasjonen:

1 Forelesning Bruk av maskinlæring i saksbehandlingen i Lånekassen Robin Sande Yulia Vibe Tom-Stian Berntsen

2 Visjon Lånekassen skal bli oppfattet som Norges mest moderne offentlige virksomhet. Mål Vi skal levere den beste kundeopplevelsen i offentlig sektor. Strategi Kundeopplevelse skal prioriteres, utvikles og leveres som følge av at driften effektiviseres.​

3 kunder tilbakebetalere 173, 8 mrd utestående

4 Lånekassen En stor saksportefølje, men relativt få saksbehandlere!
75% av kundenes søknader om utdanningsstøtte er automatiserte. 85% av kundenes søknader om betalingsutsettelse er automatiserte. Hvordan?

5 Regelmotor: fra forskriftstekst til systemkode Alle saksområder har et sett med regler som potensielt automatiserer en sak. Felt Verdi Regel-ID RV-BU-2003 Opprettet Gjelder for ordningsvariant Betalingsutsettelse Regelstatus Implementert Beskrivelse Regel som beregner antall mulige betalingsutsettelser for det enkelte år basert på estimert inntekt fra A-ordningen Forutsetning Det er estimert inntekt fra A-ordningen for minst ett kalenderår. Ukuranstekst til saksbehandler Hver regel har en unik ID. Denne brukes i flere sammenhenger, blant annet i datavarehuset, så vi kan finne igjen alle saker som har blitt behandlet med denne regelen og det gir oss grunnlag når vi jobber med videre automatisering. Vi ser at denne regelen ble opprettet , så det var tilbake i den perioden vi drev med systemutviklingen, og så er den endret en del ganger siden. Jeg kan ikke ta alle feltene her, men disse ordningsvariantene er verdt å nevne. Det er de ulike ytelsene, eller «produktene» som vi har. Her ser vi at en regel treffer flere ytelser. LOG33 - Omgjøringslån - opptrapping 11 md LUT33 - Ordinært lån del 3 - opptrapping 11 md SFS33 - Forsørgerstipend del 3 - opptrapping 11 md SFH53 - Stipend nedsatt funksjonsevne - opptrapping 11 md SFH54 - Fullstipend nedsatt funksjonsevne - opptrapping 11 md SFO53 - Foreldrestipend - opptrapping 11 md SSY53 - Sykestipend - opptrapping 11 md LOG36 Omgjøringslån eksamen ved grad, 11 mn LOK33 Omgjøringslån grad, 11 mnd

6 Forretningsproblem Utvikling av regelmotor har vært et viktig verktøy for effektivisering og faglig kvalitet. Høy automatiseringsgrad betyr fallende nytte for hvert nytt tiltak. Nye automatiseringstiltak på regelmotor er kostnadskrevende og gir relativt liten nytte. Økt automatisering krever også mer detaljerte regler, og dermed også økt risiko for feil og økte forvaltningskostnader. Forskriftsendringer er politisk styrt, og en usikker kilde til forenkling. Utfordringer: Hvordan finne nye verktøyer som bidrar til kortere behandlingstid? Hvordan finne nye verktøyer som kan sikre likebehandling, økt faglig kvalitet og effektive arbeidsprosesser?

7 Business Case: Betalingsutsettelse I
Hva: Alle kunder i Lånekassen har rett til tre år med betalingsutsettelse uten å oppi noen årsak. Alle slike saker blir automatisk behandlet av regelmotor. Kunder som har brukt opp denne rettigheten, men ønsker flere utsettelser, må sannsynliggjøre rett til rentefritak. Hvordan: Kunden søker først om rentefritak, og får et midlertidig svar dersom årsaken er tilstrekkelig dokumentert. Det endelige svaret på søknaden om rentefritak får kunden når likningen for året er klar (altså året etter). Kunden har også søkt om betalingsutsettelse, og må sannsynliggjøre at søknaden om rentefritak blir innvilget. Vi henter kundens inntekt fra A-ordningen (skatteetaten) for å finne den sannsynlige inntekten, og vurderer rett til betalingsutsettelse ut fra den.

8 Regelmotor Alle saksområder har også et sett med ukuransregler som fanger opp saker som må vurderes manuelt Felt Verdi Regel-ID RV-BU-2009 Opprettet Gjelder for ordningsvariant Betalingsutsettelse Regelstatus Implementert Beskrivelse Når kunden er bosatt i utlandet skal saksbehandler vurdere inntektsesimatet før det gis betalingsutsettelse Forutsetning Det innvilges minst en betalingsutsettelse OG Saken inneholder inntekt fra A-ordningen Kunden har registrert utenlandsk adresse Ukuranstekst til saksbehandler Sjekk rett til betalingsutsettelse. Kunden har adresse i utlandet. Vurder om kunden må sende inntektsdokumentasjon. Hver regel har en unik ID. Denne brukes i flere sammenhenger, blant annet i datavarehuset, så vi kan finne igjen alle saker som har blitt behandlet med denne regelen og det gir oss grunnlag når vi jobber med videre automatisering. Vi ser at denne regelen ble opprettet , så det var tilbake i den perioden vi drev med systemutviklingen, og så er den endret en del ganger siden. Jeg kan ikke ta alle feltene her, men disse ordningsvariantene er verdt å nevne. Det er de ulike ytelsene, eller «produktene» som vi har. Her ser vi at en regel treffer flere ytelser. LOG33 - Omgjøringslån - opptrapping 11 md LUT33 - Ordinært lån del 3 - opptrapping 11 md SFS33 - Forsørgerstipend del 3 - opptrapping 11 md SFH53 - Stipend nedsatt funksjonsevne - opptrapping 11 md SFH54 - Fullstipend nedsatt funksjonsevne - opptrapping 11 md SFO53 - Foreldrestipend - opptrapping 11 md SSY53 - Sykestipend - opptrapping 11 md LOG36 Omgjøringslån eksamen ved grad, 11 mn LOK33 Omgjøringslån grad, 11 mnd

9 Business case: Betalingsutsettelse II
Problem: Data fra A-ordningen gir ikke alltid et korrekt bilde av kunden. Vi har utviklet fem ukuransregler i regelmotoren som fanger opp slike tilfeller. Årsaken kan være at det er store svingninger i inntekten, mistanke om at kunden er bosatt i utlandet, eller at kunden har næringsinntekt. Saker som blir ukurante må vurderes av saksbehandler. På bakgrunn av en skjønnsmessig vurdering av ulike variabler på kunden, enten innvilger eller avslår saksbehandler søknaden. Mulig løsning: Kan vi bruke maskinlæring for å automatisere behandlingen av sakene som blir ukurante?

10 Fra skjønn til statistikk
Betalingsutsettelse er et lite og ukomplisert saksområde hvor saksbehandlers skjønn er begrenset. Statistisk metode er ikke det samme som utøvelse av skjønn basert på faglig kompetanse. Utfordring I: Hvordan skal vi ved hjelp av maskinlæring løse forretningsproblemet? Utfordring II: Hvordan sikrer vi god forvaltning og etterprøvbarhet?

11 Klassifiseringsproblem
Ideen er å klassifisere kunder : Kunder som kvalifiserer for betalingsutsettelse Kunder som ikke kvalifiserer for betalingsutsettelse basert på forskjellige kriterier som vi setter

12 Hvem er disse kundene? 15477 kunder har brukt opp 36 måneders regelen

13 Hvem er disse kundene? 15477 kunder har brukt opp 36 måneders regelen

14 Vår kundegruppe Hvor mange kunder med usikker inntektsdata fikk ekstra betalingsutsettelse i manuell behandling? 2017 2018 Innvilget Ikke innvilget Mangler estimert inntekt 136 4 584 77 Fikk avslag på betalingsutsettelse pga. høy inntekt tidligere 20 1 122 Kunden er bosatt i utlandet 16 63 Stor varians i inntekten 356 13 1530 2 Inntekt er basert på opplysninger for forrige år 35 8

15 Hvilke data har vi tilgjengelig og hvordan vil vi angripe problemet?
Interne data Eksterne data Personlige kundedata (Alder, Kjønn, Flyktningsdata, Opprinnelsesland, osv.) Utdanningsdata (Utdanningsnivå, Fagretning Studieprogresjon, osv.) Data om støtte og kommunikasjon med LK (Gjeldstørrelse, Terminbeløp, Antall år med støtte, Sykestipend, Forsørgerstipend, osv.) NAV (Registrert arbeidssøker, Trygdeytelser) Nettstatistikk fra andre offentlige etater? SSB Hvilke data er det fornuftig å bruke?

16 Hva skiller ut kundene som ikke fikk betalingsutsettelse fra dem som fikk?
Utdanningsnivå Hvordan finner vi riktige klassifiseringsattributter?

17 Løsningsmuligheter Supervised learning
Modell trenes på eksisterende eksempler Valg av algoritme Vi kan kjøre flere algoritmer for å finne den som presterer best Et eksempel av algoritme er beslutningstrær Beslutningstrær er minst knyttet til det black box problemet siden det er mulig å følge med logikken de bruker * * Delibašić, Boris & Vukicevic, Milan & Jovanovic, Milos & Suknovic, Milija. (2013)

18 Klassifiseringsalgoritme – beslutningstrær
root node rule rule internal node internal node rule rule rule rule leaf node leaf node leaf node leaf node

19 Klassifiseringsalgoritme – beslutningstrær
alder ung gammel gjeldstørrelse gjeldstørrelse stor liten stor liten avslag innvilgelse innvilgelse avslag

20 Databasen Personlige data Utdannings data Kundehistorikk data

21 Databasen Personlige data Utdannings data Kundehistorikk data Kunde ID
Alder Kjønn Antall søsken Statsborgerskap Sivil Status Antall barn Formue historisk Partners formue Registrert Land Adresse (Postnummer) Personlige data Utdannings data Kundehistorikk data

22 Databasen Personlige data Utdannings data Kundehistorikk data
Siste utdanningsnivå Utenlandsk lærested? Antall skoler Tatt pause i utdanning Eksamensresultat Fagretning Kundehistorikk data

23 Databasen Personlige data Utdannings data Kundehistorikk data
Gjeldstørrelse Type støtte Terminbeløp Antall purringer Tid etter avsluttet utdanning Pensjon

24 Databasen Personlige data Utdannings data Kundehistorikk data Kunde ID
Alder Kjønn Antall søsken Statsborgerskap Sivil Status Antall barn Formue historisk Partners formue Registrert Land Adresse (Postnummer) Personlige data Utdannings data Siste utdanningsnivå Utenlandsk lærested? Antall skoler Tatt pause i utdanning Eksamensresultat Fagretning Kundehistorikk data Gjeldstørrelse Type støtte Terminbeløp Antall purringer Tid etter avsluttet utdanning Pensjon

25 Hvordan sikrer vi god forvaltning og etterprøvbarhet?
Hjemmelsgrunnlag/regelverk Utdanningsstøtteloven med forskrifter Gir hjemmel for behandlingen Tilbakebetalingsforskriften § 7-2 andre ledd: § 7-2. (…) Dersom det er sannsynleg at låntakaren vil få innvilga ein søknad om sletting av renter for ein periode, kan det bli gitt betalingsutsetjing for denne perioden. Dette gjeld sjølv om formues- og inntektsskatten for perioden ikkje er fastsett. Er statistikkbasert vurdering skjønnsutøvelse?

26 Hvordan sikrer vi god forvaltning og etterprøvbarhet?
Hjemmelsgrunnlag/regelverk Forvaltningsloven/Offentleglova Taushetsplikt Begrunnelse Klage – kontradiksjon Innsyn

27 Hvordan sikrer vi god forvaltning og etterprøvbarhet?
Hjemmelsgrunnlag/regelverk Personvernforordningen Behandlingsgrunnlag Samtykke istedenfor hjemmel i lov? Innebygget personvern og vurdering av personvernkonsekvensene Retten til å motsette seg automatisert behandling Rettferdighet Formålsbegrensning Dataminimering Gjennomsiktighet Innsyn

28 Hvordan sikrer vi god forvaltning og etterprøvbarhet?
Dokumentasjonskrav Begrunnelse for valg av opplysninger Hvordan algoritmen er trent opp Testing og revidering av systemet Dynamisk forvaltning Kontradiksjonsprinsippet Legalitetskontroll

29 Hvordan sikrer vi god forvaltning og etterprøvbarhet?
Collibra som forvaltningsverktøy Oversikt over features/attributter Med vekting? Forsøke å sette opp beslutningstre Knytning mot ukurans i regelmotor

30 Hvordan sikrer vi god forvaltning og etterprøvbarhet?

31 Hvordan sikrer vi god forvaltning og etterprøvbarhet?
Informasjonskrav Krav fra lovgiver Innsyn En enkel forklaring på logikken som ligger bak, og betydningen og forventede konsekvenser av den automatiserte behandlingen Informasjonen må gis før den automatiske behandlingen starter

32 Hvordan sikrer vi god forvaltning og etterprøvbarhet?
Informasjonskrav Krav vi stiller oss selv Beslutningstrær Vektlegging av opplysninger Kobling mellom opplysninger Informasjon på lanekassen.no, personvernerklæring, informasjon på tildelingstidspunktet? Egen info i vedtak, eller kun ved forespørsel/klage?

33 Inn i black box eller ut av black box?