Hannes Lindblom

Testartips1 #62 - Spetsa till regressionstestningen genom kartläggning av automatiseringen

2019-09-17 Blogg Test Testartips Läst 247 gånger

I de flesta utvecklingssammanhang idag finns det någon form av testautomatisering. I många fall syftar denna automatisering till att täcka regressionsrisker, det vill säga att befintliga delar av systemet ändrat beteende på något oönskat vis under utvecklingsprocessen. I en releaseprocess är det viktigt att förstå vilket skyddsnät dessa automatiska tester (eller checkar) tillhandahåller, detta för att förstå riskerna vid en release och vad som eventuellt behöver undersökas av en människa. En bra början kan vara att lista vilka områden och scenarion som täcks av automationen, till exempel i en mindmap. Men ordet "täcks" är ett ganska trubbigt ord som kan betyda många saker, ofta behöver du gå lite djupare i detaljerna för att förstå vad "täcks" betyder i ditt sammanhang. Några exempel på frågor som är bra att ta reda på:

  • Vilken nivå ligger testerna på? Oavsett hur bra testtäckningen är på API- eller webservicenivå så täcker inte dessa tester fall där användargränssnittet innehåller buggar.
  • Vilken typ av checkar görs? Även om ett GUI-test i exempelvis Selenium går igenom utan problem så missar denna typ av tester många typer av visuella problem, t.ex. att element delvis råkar skymma varandra eller skalas om till konstiga format. För att fånga sådana problem behövs kompletterande checkar med något verktyg som arbetar med bildjämförelser. Problem med att sidan laddar långsamt eller går trögt tenderar också att missas då testerna ofta byggs för att vara robusta och ignorera sådana variationer.
  • Hur många konfigurationer körs automatiseringen på? Tester som bara körs i en webbläsare eller en typ av device kommer inte kunna fånga problem som bara existerar på plattform eller hårdvara.

Det är lätt att automatiseringen blir en svart låda för de som inte arbetar med den dagligen. Men genom att regelbundet kartlägga automatiseringen ovan (t.ex. med hjälp av frågorna ovan) kan du få en bättre bild av riskerna vid en release samt vässa och anpassa den kompletterande regressionstestningen som behöver utföras. 

Läs fler testartips här

Dela artikeln