Inledning
Det här lämplighets- och kunskapsprovet har tagits fram för att vara till hjälp vid rekrytering av testare, testledare och liknande. Det kan även användas vid utvärdering av konsulter inom testområdet. Provet är tänkt att utgöra ett komplement till andra intervjutekniker. Den ursprungliga versionen av provet är utvecklat av det brittiska företaget Grove Consultants och Ulf Eriksson vid Konsultbolag1 har ansvarat för översättning och anpassning till svenska förhållanden.
Provets struktur
Provet består av 25 frågor, där varje fråga kan ge ett visst antal poäng. Frågorna är skapade och utvalda för att testa en persons färdigheter inom ett så stort testområde som möjligt, med uppgifter som sträcker sig från scenariotester till specifika frågor om testverktyg.
Testet tar 90 minuter att genomföra. Om kandidaten drar över tiden, kan man tillämpa straffpoäng, t ex en straffpoäng per extra minut. Om kandidaten lämnar in svaren innan tiden är ute, kan bonuspoäng tillämpas.
Högsta möjliga poäng är 150. Du kan välja att tillämpa en procentsats för att bedöma kandidatens resultat. Ett exempel:
- Mindre än 50 % rätt – Inte godkänd.
- 50 % till 65 % – Junior testare/praktikant
- 65 % till 80 % – Testare
- Mer än 80 % – Senior testare
Eftersom alla frågor har fria svarsalternativ, har du som rekryterare ansvaret att tolka kandidatens svar och sätta de poäng som du tycker är lämpliga.
Tack till Grove Consultants för att vi har fått möjligheten att översätta och anpassa det engelska testet till svenska och våra förhållanden. Denna version är skapad i november 2006.
Provfrågor
Besvara frågorna på separat svarsblankett. Avsatt tid är 90 minuter.
Nr | Fråga | Max poäng |
1 | Vilket av följande påstående anser du vara viktigast och varför?
|
2 |
2 | Du har genomfört alla tester och alla fick godkänt resultat. Är det bra eller dåligt? | 2 |
3 | Vad skulle du göra om du ombads testa ett system som är obekant för dig och det visar sig att dokumentationen är bristfällig eller saknas? | 4 |
4 | När du utför ett testfall finner du att det verkliga resultatet inte överensstämmer med det förväntade resultatet. Vad gör du? | 3 |
5 | Vad av följande är viktigast? Motivera ditt svar.
|
2 |
6 | Hur definierar du ett bra testfall? | 2 |
7 | Du har fått i uppgift att testa det nya triangelprogrammet (se skärmbild nedan).![]() Som du kan se, består programmet av tre inmatningsfält och en knapp. Tanken är att användaren anger ett heltal i vart och ett av de tre fälten. När man klickar på OK-knappen, ska programmet skriva ett meddelande i en separat dialogruta som säger om triangeln är oliksidig (alla sidor har olika längd), likbent (två sidor har samma längd) eller liksidig (alla tre sidorna är lika långa). Skriv en uppsättning testfall (dvs specificera testdata) som enligt din uppfattning på ett adekvat sätt testar programmet. Skriv testerna så att någon annan än du själv kan utföra dem. |
17 |
8 | När du testar ovanstående applikation, hittar du något som du tror är en avvikelse – i stället för att skriva ut meddelandet om vilken sorts triangel det är i en separat ruta, skriver applikationen meddelandet i utrymmet mellan de tre textfälten och OK-knappen. Vad gör du? Motivera.
|
3 |
9 | Du har skrivit en felrapport, men utvecklaren säger sig inte kunna reproducera felet. Vad gör du? Motivera svaret.
|
3 |
10 | Scenario: Du har två uppsättningar tester som ska utföras på den nya versionen av applikationen: Uppsättning 1 – Regressionstestfall som syftar till att skapa förtroende för att applikationen inte är av sämre kvalitet än den förra versionen. |
6 |
11 | Rita och beskriv V-modellen med dess 4 testnivåer. Beskriv var i modellen testplanering äger rum. | 6 |
12 | Beskriv de olika testnivåerna och vad som är målet med varje nivå. | 10 |
13 | Förklara betydelsen av termerna regressionstest och omtest. | 4 |
14 | Scenario: Du har planerat att själv utföra 600 testfall. Varje testfall beräknas ta ungefär 10 minuter att utföra. Din chef säger nu att du måste slutföra testerna på en vecka. Vad gör du? |
5 |
15 | Anser du att testverktyg är till nytta under testerna – varför eller varför inte? | 4 |
16 | Nämn tre kategorier av testverktyg och beskriv syftet med varje kategori. | 9 |
17 | Nämn två standarder inom testområdet. | 2 |
18 | Resonera kring hur du skulle gå tillväga för att testa följande tre krav?
|
9 |
19 | Varför är det viktigt att testa? | 4 |
20 | En telefonväxel på ett hotell kan utföra tre funktioner:
|
15 |
21 | Beskriv vad som menas med termen ”statisk testning”. Nämn också tre statiska testtekniker. | 4 |
22 | Nämn fem sätt att prioritera testfallen. | 10 |
23 | Scenario: Du ska testa två program och har planerat tre veckor för att testa bägge programmen. När det har gått två veckor har du genomfört samtliga tester för bägge programmen. Du ska nu avgöra vilket av de två programmen som du ska ägna mer tid åt att testa med hjälp av ytterligare tester. Använd nedanstående information för att fatta ditt beslut. Välj vilket av programmen du vill testa mer och motivera ditt svar. Program A Program B |
4 |
24 | En bankomat har följande funktionsbeskrivning:
Kunden matar in sitt kort. Bankomaten kontrollerar om kortet är giltigt. Om det inte är det ska kortet matas ut och kunden ska få ett felmeddelande. Om det är ett giltigt kort, ska systemet uppmana kunden att ange sin personliga kod. Systemet kontrollerar om koden är ogiltig – om den är det, visa meddelandet ”Koden är felaktig, försök igen.”. Om tre försök görs med ogiltig kod, behåller automaten kortet. Om den personliga koden är giltig, kan kunden välja en av följande transaktioner:
Beskriv kortfattat varje testfall som du skapar för att testa systemet. Ange förutsättningar för testfallen. Förutsättningar är en sammanfattande text som ofta beskrivs för flera testfall i en testspecifikation. |
10 |
25 | Följande är ett utdrag ur en felrapport. Vilka potentiella problem kan du se i dialogen? Vilken information saknas i felrapporten?
Felrapport Felbeskrivning: Svar: 26 augusti: Testare – Jag hade konfigurerat säkerhet, det verkar inte fungera – jag har därför öppnat felet igen. |
10 |
Rättningsanvisningar
Nr | Fråga | Max poäng |
||||||||||||||||||||||||||||||||||||
1 | Bägge alternativen är korrekta. Syftet med test är både att hitta fel och att säkerställa att det uppfyller användarens behov (rätt för syftet). | 2 | ||||||||||||||||||||||||||||||||||||
2 | Det beror på hur bra dina tester var och vad de testade. För att vara säker på förtroendet för applikationen, måste vi ha förtroende för testerna, data och miljön. | 2 | ||||||||||||||||||||||||||||||||||||
3 | Prata med användare, utvecklare och andra för att få en förståelse för vad systemet är förväntat att göra. Dokumentera den här förståelsen och se till att detta granskas. Detta kan användas som substitut för krav- och/eller designdokumentation. Prata med testare som har testat systemet tidigare. Läs allt som finns skrivet om systemet så att dina antaganden klargörs. | 4 | ||||||||||||||||||||||||||||||||||||
4 | Testaren ska först säkerställa om anledningen kan vara ett testfel (det vill säga testaren har gjort fel) eller om det är ett problem som är relaterat till miljön. Om inget av detta gäller, ska man kontrollera om felet redan är rapporterat. Om inte, skriv en felrapport eller ännu hellre, prata med utvecklingsgruppen om felet. | 3 | ||||||||||||||||||||||||||||||||||||
5 | Alla tre är lika viktiga.
Om man bara fokuserar på positiva tester (tester som visar att systemet gör vad det ska göra) kommer man inte testa systemets felhantering. Dessa fel kommer troligen inte upptäckas förrän i samband med produktionssättning. Om man i stället fokuserar enbart på negativa tester (tester som visar att systemet inte gör sådant som det inte borde) så kommer inte den normala användningen att testas. Extremtester är viktiga eftersom de kan leda till stora konsekvenser (t ex systemet kommer inte igång igen efter strömavbrott, data förloras etc), men om man fokuseras på dem kommer man inte testa normal användning av systemet. En sund balans krävs mellan samtliga dessa tre angreppssätt. |
2 | ||||||||||||||||||||||||||||||||||||
6 | Ett bra testfall är ett testfall som potentiellt kan hitta ett fel i systemet. Om testfallet inte gör att ett fel hittas, bidrar det till att öka förtroendet för systemet. Ett testfall måste också vara effektivt så att inte flera testfall testar samma sak. | 2 | ||||||||||||||||||||||||||||||||||||
7 | Testfall bör finnas för följande situationer:
Extra pluspoäng kan ges för ytterligare testfall som prestanda, tillförlitlighet och konfiguration. |
17 | ||||||||||||||||||||||||||||||||||||
8 | Det här är inte ett allvarligt problem eftersom meddelandet skrivs ut. Bästa lösningen skulle kunna vara A eller D – det är nödvändigt att fel rapporteras så tidigt som möjligt så att utvecklarna kan hinna åtgärda det. Det är dock beroende av felets allvarlighetsgrad och prioritet. Det här felet hindrar inte fortsatta tester – det kan även vara så att andra liknande problem uppstår med andra meddelanden och denna extra information kan hjälpa utvecklaren med ytterligare undersökningar. | 3 | ||||||||||||||||||||||||||||||||||||
9 | Rätt svar är D – det kan vara ett problem med skillnader mellan din miljö och utvecklarens miljö. Felet kan också ha blivit löst i samband med någon annan rättning i den nya versionen. | 3 | ||||||||||||||||||||||||||||||||||||
10 | Analysera felen för att dra en slutsats om varför de har uppkommit. Är testfallen utförda på fel sätt eller i fel miljö? Om felen har tillkommit i den nya versionen, behövs mer fakta om felen och allvarlighetsgraden. Om det är många fel som har kommit tillbaka är det troligen ineffektivt att utföra ytterligare tester i detta stadium. I stället bör man arbeta tillsammans med utvecklarna med att ta fram en ny version av systemet med felen korrigerade och omtestade innan man går vidare med den andra uppsättningen testfall. | 6 | ||||||||||||||||||||||||||||||||||||
11 | ![]() Kravhantering och testplanering sker längs V-modellens vänstra sida. Testgenomförande sker längs den högra sidan. Det viktiga är att testarbetet ska pågå under hela utvecklingens livscykel och att testplaneringen sker så tidigt som möjligt. |
6 | ||||||||||||||||||||||||||||||||||||
12 |
Här kan även svara att varje testnivå är kopplad till en kravnivå på motsvarande sida (som kan illustreras som horisontella streck mellan aktiviteter till höger och aktiviteter till vänster). |
10 | ||||||||||||||||||||||||||||||||||||
13 | Regressionstestinnebär att utföra tester i syftet att säkerställa att systemet inte har återgått till ett sämre läge än i den tidigare versionen av systemet. Regressionstest kan göras genom att utföra redan utförda, godkända tester igen för att kontrollera att de fortfarande får godkänt resultat. Man kan också välja ut de 10 eller 100 viktigaste funktionerna som alltid ska fungera.
När ett utfört testfall har resulterat i att man har hittat ett fel och felet har korrigerats genomför man omtest. Det innebär att testaren utför testfallet igen för att säkerställa att felet är rättat på ett tillfredsställande sätt. |
4 | ||||||||||||||||||||||||||||||||||||
14 | Om man antar att varje arbetsdag består av 7 timmar effektiv arbetstid, så skulle arbetsuppgiften ta 600 * 10 = 6 000 minuter = 100 timmar = drygt 14 dagar. Det finns flera olika alternativ som kan övervägas:
Bättre alternativ:
|
5 | ||||||||||||||||||||||||||||||||||||
15 | Testverktyg är en mycket viktig hjälp i testarens arbete. Testverktyg kan även göra testaren mer effektiv i sitt arbete.
I regressionstester kan ett verktyg för automatisering göra det möjligt att genomföra ett större antal tester än om testerna skulle genomföras manuellt. Ett verktyg som innehåller både krav, testfall och felrapporter gör det lättare att välja regressionstestfall tack vare spårbarhet. Det ökar också möjligheten att följa förloppet eftersom det gör det lättare att se bedöma hur stor del av arbetet som är avverkat. Dock ska man ha i åtanke att verktygen själva inte automatiskt gör bra testare, och att man inte heller ska införa verktygsstöd om testprocessen är kaotisk, det leder till mer och snabbare kaos. |
4 | ||||||||||||||||||||||||||||||||||||
16 | Syftet med den här frågan är att se om kandidaten har någon som helst kännedom om verktyg. Syftet är inte att namnge specifika verktyg utan snarare att se om kandidaten kan skilja på olika typer av verktyg.
Några kategorier av verktygsstöd:
|
9 | ||||||||||||||||||||||||||||||||||||
17 | Exempel på standarder:
|
2 | ||||||||||||||||||||||||||||||||||||
18 | Systemet måste vara användarvänligt
Frågan är vad som menas med användarvänligt. Frågor man bör ställa sig när man får ett sådant krav:
Tänkbart angreppssätt för att kunna genomföra testerna:
Systemet måste vara enkelt att installera. Vad menar vi med ”enkelt”. Frågor att ställa:
Angreppssätt för att kunna testa:
Krav på svarstider Några frågor att resonera kring:
|
9 | ||||||||||||||||||||||||||||||||||||
19 |
|
4 | ||||||||||||||||||||||||||||||||||||
20 |
Positiva testfall
Negataiva testfall
Övriga tester
|
15 | ||||||||||||||||||||||||||||||||||||
21 | Statiska tester är sådana där programmet inte exekveras (körs). Några exempel på statiska testtekniker:
|
4 | ||||||||||||||||||||||||||||||||||||
22 |
|
10 | ||||||||||||||||||||||||||||||||||||
23 | Saker att resonera kring:
Felen är ofta toppen på ett isberg och förekommer ofta i klungor. Det är därför troligt att det finns ytterligare fel i program B som ännu inte hittats. Därför kan det vara lämpligt att testa program B ytterligare en vecka. Man bör inte heller vara helt nöjd med kvaliteten hos program B. Genom att testa ytterligare en vecka kan man få ökat förtroende för programmet. Man bör även analysera om testfallen för program A är korrekt valda/utförda. Om testerna är genomförda på fel sätt är det sannolikt att felen ännu inte hittats. Man bör även ta reda på mer om kraven och om de tester som genomförts tidigare eftersom kvaliteten på tidigare krav- och testnivåer på verkar resultatet på senare testnivåer. Om utvecklarnas tester är bristfälligt genomförda eller om kraven är dåliga i något av systemen, bör det systemet testas mer. |
4 | ||||||||||||||||||||||||||||||||||||
24 |
Förutsättningar: |
10 | ||||||||||||||||||||||||||||||||||||
25 | Potentiella problem/information som saknas:
|
10 |
KONTAKTA OSS
Har du frågor? Vill du ha hjälp med områden inom kravhantering och test?
Hör av dig till oss! Vi hjälper dig gärna.