Software QA voor SaaS-ontwikkelaars

Op het eerste gezicht zou software QA (Quality Assurance) voor een SaaS-applicatie niet anders moeten zijn dan voor traditionele oplossingen. We doen tenslotte dezelfde testen als vroeger. Er is een ontwikkelmethode, requirements, releaseplannen, testcases, enzovoort. Wat kan er anders zijn?

Er zijn echter een belangrijke verschillen. Die verschillen kunnen van invloed zijn op de kwaliteit van de applicatie en je geloofwaardigheid. Om dit te begrijpen, moeten we eerst inzien dat SaaS anders is.

Hoe anders is SaaS voor software QA?

• SaaS is meer een service dan software die je koopt.
• Een SaaS-applicatie kent strengere eisen voor prestaties en beveiliging.
• Het SaaS-bedrijfsmodel komt met een Agile ontwikkelmethode.
• Er zijn aanzienlijke operationele kosten (infrastructuur, software en personeel).
• Een nieuwe release (met tekortkomingen) is onmiddellijk beschikbaar voor onze klanten, met een zeer hoge foutenkans.
• De gebruikers hebben minder risico’s, kosten en impact bij het overstappen naar een andere provider.

Het bovenstaande heeft meer gevolgen voor de Software QA dan je denkt. Hieronder staat een lijst met belangrijke onderwerpen waar SaaS de QA beïnvloed:

Requirements voor prestaties en schaalbaarheid

SaaS-ontwikkelaars zetten hun software op hun eigen hardware. Een slechte performance verhoogt de operationele kosten en kunnen een faillissement betekenen. QA-teams moeten het gedrag van veel users tegelijkertijd testen en iedere release valideren op schaalbaarheid.

Web-services en SOA

SaaS-applicaties implementeren we achter een eigen firewall. De meeste bedrijfsapplicaties hebben echter sterke behoeften aan koppelingen. Met API’s is meestal voorzien in de integratie met derden. Dit is eigenlijk een verhulde zegen omdat het een eenvoudige interface biedt voor QA om de belangrijkste bedrijfsfunctionaliteit te testen via een eenvoudig te automatiseren interface. QA-teams moeten wel weten hoe ze het SOA-platform het best kunnen testen.

Beveiliging en software QA

Als SaaS-ontwikkelaar neem je, zowel juridisch als moreel, de verantwoordelijkheid op je voor het veiligstellen van kritieke klantdata. Ieder beveiligingsprobleem kan je bedrijf doen sluiten. Als een QA-team moet je belangrijke web-exploits kennen en testen.

Testomgevingen en natuurgetrouwe implementaties

Het SaaS-model is een zegen voor het supportteam. Ze hoeven geen rekening meer te houden met het OS, de servers en de geïnstalleerde software bij de klant. Support ondersteunt alleen de SaaS applicatie in de productie omgeving. De testomgeving moet wel een nauwkeurige replicatie van de productieomgeving zijn, inclusief alle infrastructuur voor load-balancing en clustering.

Testen op SLA’s

Als de software voldoet aan de functionele requirements en aan de prestatiecriteria, voldoet het dan ook aan de SLA’s? Hoe garandeer je dat de software zich aan de uptime in SLA blijft voldoen? QA speelt hierin een grote rol en valideert of de software voldoet aan de SLA’s.

QA-managers die voor SaaS-ontwikkelaars werken, moeten rekening houden met de bovenstaande punten bij het maken van een teststrategie voor hun SaaS-toepassing.

Software QA: Hoe testen we een SaaS platform?

Voor de software QA van een SaaS platform geldt dat je verschillende soorten testen moet uitvoeren.

Een ​overzicht van de verschillende testen:

Functionele tests, eerste stap in software QA

Net als bij andere applicaties zorgen we ervoor dat de functionaliteit werkt zoals verwacht.
Hiervoor gebruiken we de reguliere testtechnieken zoals:

• Handmatige testscripts en testcases.
• Het aflopen van checklisten.
• End-to-end scenario’s.
• Geautomatiseerde regressietests.

Ondersteuning van meerdere platforms

Je kunt een combinatie van fysieke en virtuele machines inzetten om ervoor te zorgen dat de testers kunnen werken op Windows, Mac en Linux. Dit geldt eveneens voor de browsers: Chrome, IE, Firefox en Safari.

Laad- en stress testen

De SaaS applicatie moet grote hoeveelheden gebruikers aan kunnen. Om dit te kunnen testen moet je de systeem zwaar belasten, eventueel met simulators.

Externe toegang en gebruik

Als SaaS provider moet je er voor zorgen dat alle gebruikers met het systeem kunnen werken met goede reactietijden. Dit geldt ongeacht waar ze zich bevinden, hetzij uit de VS, Nederland, India, Argentinië of Australië.
Voor deze test kan je emulators gebruiken. Dit kan je niet 100% vertrouwen en het beste kan je daarvoor een aantal lokale gebruikers zoeken die bereid zijn om een ​​reeks testen uit te voeren en hun resultaten te rapporteren.

Beveiliging als onderdeel van software QA

SaaS ontwikkelaars zorgen ervoor dat niemand het systeem of platform kan beschadigen (bewust of per ongeluk). Hiervoor test je of zaken als cross-site scripting en andere gaten in de beveiliging zijn geblokkeerd.

Live updates en implementaties

Dit is iets waar we bij traditionele applicaties zelden over nadenken: Hoe implementeer je de nieuwe release terwijl het systeem draait. Of, indien nodig, hoe minimaliseer je de downtime voor de gebruikers?
Dit is iets dat systeembeheer moet regelen, maar omdat het gevolgen heeft voor de gebruikers moet je het wel voortdurend testen.

Internationale gebruikers en software QA

Een SaaS platform wordt meestal internationaal gebruikt. De gebruikers zitten over de hele wereld. Al deze gebruikers moeten een zorgeloze ervaring hebben.

Software QA testen en activiteiten moeten dit waarborgen en moet je daarom voortdurend evalueren. Quality Assurance voor SaaS is niet statisch maar moet Agile meebewegen met de internationale ontwikkelingen. Voortdurend moet je testcases toevoegen of verwijderen. Het belangrijkste is dat je let op de complete end-to-end gebruikerservaring en je niet beperkt tot de functionele testen.

Bottom line blijkt dat men aan Quality Assurance bij SaaS applicatie hogere eisen stelt dan bij traditionele systemen.

Discussieer mee op LinkedIn.