Manuell kontra automatisk test av Web-applikasjoner Trond Johansen, Proxycom AS 5 desember 2002

Bakgrunn Proxycom er et IT konsulentfirma som bl.a. utvikler Web-applikasjoner for sine kunder Manuell funksjonell testing av Web-applikasjoner er tidkrevende Ofte lite tid til testing Manuell testing kan være kjedelig Man begrenser ofte omfanget av manuelle tester Finnes det testverktøy som er kostnadseffektive i forhold til manuell testing ?

Krav til testverktøy De viktigst kravene: Støtte Internett Explorer pluss eventuelt andre nettlesere Må ha høynivå kommandospråk Kunne gjenbruke testdatasett Kunne identifisere UI-elementer Kunne håndtere tekstendringer i skjermbilder Ha gode feilrapporter Må kunne gå videre etter at feil er funnet Pris helst under 50 000.-

Hvilke testverktøy fant vi ? Det fantes mange verktøy 12 verktøy ble evaluert 2 verktøy ble prøvekjørt Robot fra Rational eValid fra Software Research Robot ble valgt til en mer omfattende utprøving

Fremgangsmåte ved utprøving Web-applikasjon som ble testet: CMS Inneholder prosjektstyring, timeregistrering, reiseregning, fakturering, m.m. 2 personer skal hver gjennomføre en manuell og en automatisk test av 3 CMS-versjoner Det ble først utarbeidet et testdatasett basert på kravspesifikasjonen av CMS.

Bruksmåten til testverktøy Testdatasett utarbeides manuelt ut fra kravspesifikasjon Verktøyet kjøres i opptaksmodus og registrerer dialogen mellom bruker og Web-applikasjonen. Verktøyet kjøres i avspillingsmodus og vil da gi feilmeldinger dersom Web-applikasjonen har forandret oppførsel.

Erfaringer, del 1 Tidsforbruk ved opptak Ca 1.5 ganger mer tid med verktøy enn med manuell testing Verktøy krever ekstra tid for test av opptak (kan være nybegynnerproblemer). Tidsforbruk ved avspilling Ca 6 ganger mer tid med manuell testing enn med verktøy Verktøy krever ekstra tid dersom opptaket må ajourføres.

Erfaringer, del 2 Verktøy krever opplæringstid Er omfattende og inneholder mange muligheter En del parametre må settes riktig Fleksibilitet Manuell testing er mer fleksibelt enn automatisk testing Verktøy kan i en viss grad være fleksibel Verktøy skal kunne håndtere voksende database

Erfaringer, del 3 Databasetilstand Automatisk test har vært gjennomført ved å starte med en nullstilt database Det er også mulig å utforme testdatasettet slik at man kan starte fra en vilkårlig databasetilstand Feilfinning Ved manuell test kan man overse feil, mens automatisk testing finner alle avvik fra opptaket. Automatisk testing finner ikke andre feil enn de som sjekkes i testdatasettet

Foreløbig konklusjon Automatisk testing er mer kostnadseffektiv enn manuell testing når: Man skal teste stadig nye versjoner av en Web-applikasjon Når det ikke er alt for mange endringer i de eksisterende funksjonene