De kracht van een Peer review

De IT Peer review is bedacht om de geldigheid en de kwaliteit van IT deliverables te beoordelen. Het uiteindelijke doel is om de integriteit en betrouwbaarheid van de documenten vast te stellen. Dit doen we door onjuiste stukken of stukken van een slechte kwaliteit uit te filteren.

Door de peer review op te nemen in IT projecten voegen we bovendien waarde aan het project toe. Om deze reden moeten Project Managers ervoor zorgen dat deze collegiale toetsing als activiteit wordt ingepland.

De meeste wetenschappelijke tijdschriften, conferenties en subsidieaanvragen hebben ook een soort van peer review-systeem. In de meeste gevallen is het een “dubbelblinde” peer review. Dit betekent dat beoordelaars de maker niet kennen en dat de makers bovendien de identiteit van de beoordelaars niet kennen. De bedoeling achter dit systeem is ervoor te zorgen dat de evaluatie niet bevooroordeeld is.

Het Peer review proces in details

Het peer review-proces voor IT deliverables kent minstens drie fasen.

1. De evaluatie door de Project Manager

Als een deliverable wordt opgeleverd voert de Project Manager een eerste evaluatie uit. Dit kan ook een teamleider met de relevante expertise doen.

In dit stadium kan de deliverable echter worden “afgewezen”. Dat wil zeggen, worden geweigerd zonder het door te sturen naar andere teamleden. Over het algemeen wijzen we deliverables af als ze niet binnen de kaders van de projectopdracht vallen. Een andere reden kan zijn dat er fundamentele fouten zijn gemaakt waardoor er geen aansluiting is met de andere deliverables.

2. De blinde beoordeling

Als de Project Manager oordeelt dat er geen fundamentele tekortkomingen zijn, stuurt hij het ter beoordeling geanonimiseerd door naar andere teamleden. Dit zijn namelijk de beoordelaars. Het aantal beoordelaars is afhankelijk van de projectomvang. De Project Manager selecteert teamleden op basis van hun expertkennis.

De teamleden zullen beslissen of ze de deliverable weigeren, accepteren, of vragen om de deliverable aan te passen. Dit betekent dus dat de maker het document moet wijzigen in overeenstemming met het verzoek van het team.

3. De herzieningen

Als de deliverable niet na deze eerste beoordelingsronde is geweigerd, sturen we het terug naar de maker voor aanpassingen. Dit proces herhalen we zo vaak als de Project Manager nodig vindt voor een goede kwaliteit.

Sterke en zwakke punten van het peer review proces

Het peer review-proces zien we als een goed gebruik in de IT omdat het de kwaliteit binnen een project waarborgt. Gebrekkige oplossingen elimineren we dus en we versterken en verbeteren goede ideeën. Omdat andere IT-ers de deliverables beoordelen, wordt de professionaliteit verzekerd. Als gebruikers of opdrachtgevers betrokken waren bij het beoordelen van de producten, zouden andere criteria zoals bedrijfspolitiek een rol gaan spelen bij het selecteren van ideeën.

Ondanks de sterke punten wordt het peer review-proces zoals we dat kennen, bekritiseerd.

• Teamleden kunnen de maker als collega herkennen waardoor de beoordeling niet meer blind is.
• De teamleden zijn menselijk en kunnen fouten maken, onderdelen verkeerd begrijpen of fouten missen.

Deze zeldzame fouten mogen echter geen reden zijn om het proces helemaal te laten varen. Zonder Peer reviews zou het aantal fouten namelijk groter zijn.

Verbetering van de effectiviteit van Peer reviews

Enkele manieren waarop we de efficiëntie van het proces kunnen verbeteren zijn:

• De hoeveelheid herhalingsherzieningen verminderen door te innoveren rond de overdraagbaarheid van peer reviews.
• Trainingen geven aan peer reviewers ten aanzien van Best Practices.
• De bijdrage van de peer reviewers meer erkenning geven.

Zijn er alternatieven voor een Peer review?

Verdedigers van het peer review-systeem zeggen dat er, hoewel er gebreken zijn, we nog steeds een beter systeem moeten vinden om onderzoek te evalueren. Social Media biedt echter een aantal mogelijke innovaties.

• De Project Manager kan de deliverable vrijgeven met zeer weinig evaluatie. De focus ligt dan op de peer review na oplevering. Alle betrokkenen kunnen commentaar leveren via Social Media.
• Er is een hybride variant denkbaar waarin de peer review een rol speelt als poortwachter, maar de betrokkenen leveren de werkelijke kritiek achteraf.

Discussieer mee op LinkedIn.