Erfaringer fra Nasjonalt e-ID program Arne Berner Ytelsestesting i Erfaringer fra Nasjonalt e-ID program Arne Berner

Direktoratet for forvaltning og IKT Her er vi Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Vår historie Nov. 2009 Mars 2010 Mars 2011 Oktober 2011 Nov. 2011 Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Nov. 2009 Ytelsetesting av MinID 3.0 Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Mars. 2010 Selvangivelsestid Direktoratet for forvaltning og IKT

SLA krav 99,9 % Ytelseskrav 65 innlogginger pr. sekund Mai. 2010 65 innlogginger pr. sekund 160 000 vellykkede innlogginger på en time + 30% som ikke lykkes Gjennomsnittlig sesjonstid er 6 min. 1/3 går til timeout, 30 min SLA krav 99,9 % Ved høy belastning skal løsningen kjøre stabilt i 48 timer. Peak = 100% Høy belastning = 85 % Normalt = 40 % 65.000 samtidige sesjoner Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT The ultimate test Juni. 2010 1,2 % 0,6 % Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Aug. 2010 Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Ytelsestesting av ID-porten 2.0 Nov. 2010 Samme test november 2009 Samme verktøy som tidligere, jmeter Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Selvangivelsestid Mars. 2011 Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Oppsummering så langt Mars. 2011 16 måneder Mange dårlige erfaringer Ingen konkrete resultat Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT April 2011 Ytelsestest strategi Hva tester vi, hvorfor? Hva tester vi ikke, hvorfor? Hvordan tester vi? Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Strategi igjennom en prosess April 2011 Ytelsestestprosess Ytelsesmodell hvordan systemet blir belastet og hvordan ytelsen blir målt Testmodell Hvordan testene skal gjennomføres Verktøy Vurdering av funksjonalitet og pris Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Ytelsestesting April 2011 Lasttesting Stresstesting Stabilitetstesting Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Vurdering av verktøy Juni 2011 Neotys Neoload HP LoadRunner Borland Silkerformer Microsoft VS2010 Test Edition Apache Jmeter OpenSTA The Grinder Eviware LoadUI/SoapUI Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Vurdering av verktøy Juni 2011 Neotys Neoload HP LoadRunner Borland Silkerformer Microsoft VS2010 Test Edition Apache Jmeter OpenSTA The Grinder Eviware LoadUI/SoapUI Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Vurdering av verktøy Juni 2011 Neotys Neoload HP LoadRunner Borland Silkerformer Microsoft VS2010 Test Edition Apache Jmeter OpenSTA The Grinder Eviware LoadUI/SoapUI Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Vurdering av verktøy Juni 2011 Neotys Neoload HP LoadRunner Borland Silkerformer Microsoft VS2010 Test Edition Apache Jmeter OpenSTA The Grinder Eviware LoadUI/SoapUI Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Vurdering av verktøy Juni 2011 Neotys Neoload HP LoadRunner Borland Silkerformer Microsoft VS2010 Test Edition Apache Jmeter OpenSTA The Grinder Eviware LoadUI/SoapUI Direktoratet for forvaltning og IKT

Etablere lastgeneringsmiljø Juli 2011 Direktoratet for forvaltning og IKT

Ytelsestesting av ID-porten 2.2 Juli 2011 Maksimal ytelse ble målt til å være 45 innlogginger i sekundet. Dette er 67 % av den ytelsen som er kravstilt, 67 innlogginger i sekundet. Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Ytelsesforbedringer Juli 2011 Reduserte flaskehalser i løsningen Reduksjon av skrive/lese operasjoner mot LDAP Implementert trafikkbegrensning Løsningen skal oppleves stabil for de brukere som kommer inn Direktoratet for forvaltning og IKT

Utvidet lastgeneringsmiljø Aug 2011 Direktoratet for forvaltning og IKT

Ytelsestesting av ID-porten 2.3 Sept. 2011 Maksimal ytelse ble målt til å være 120 innlogginger i sekundet. Dette er 180 % av den ytelsen som er kravstilt, 67 innlogginger i sekundet. Direktoratet for forvaltning og IKT

Ytelsestesting av ID-porten 2.3 Sept. 2011 Kjøring av ytelsestest med komplette scenarioet viste en ytelse som tilfredsstilte kravet på 67 innlogginger per sekund. Samtidig viser testen at det er nettopp integrasjonen mot tjenesteeiere som er ytelseskrevende, med stor økning i CPU og nettverksbruk. Direktoratet for forvaltning og IKT

Direktoratet for forvaltning og IKT Lansering av skattelistene Okt. 2011 Direktoratet for forvaltning og IKT

Lastgenerering fra skya Nov. 2011 Ytelsesteststrategi Iterativ ytelsestestprosess Lastgenerering fra skya Kjapt og billig Direktoratet for forvaltning og IKT