Toetsmatrijs en toetstermen bepalen kwaliteit van examens

Addo Kraan

Er is al heel wat overleg geweest over SEP, het nieuwe examenplatform van SVWOH. De ambities zijn steeds hoog geweest. Gelukkig kent de steigerbouwwereld veel betrokken mensen die het veilig werken op hoogte aan het hart gaat. Hun bijdrage maakt het mogelijk deze ambities waar te maken. Eén van deze mensen is Addo Kraan.

Addo Kraan
Addo Kraan heeft een passie voor het werken op hoogte. Nomen est omen. Kwaliteit en veiligheid zijn z’n drijfveren en daarmee specialiseerde hij zich in de steigerbouw. De liefde voor steigers ontstond bij VHS Ventilatie- en Hoogwerksystemen bv en Workx materieelverhuur/ steigerbouw. In deze jaren heeft Addo circa acht jaar ook zelf steigers gemonteerd. Later werkte Addo in opdracht voor het Opleidingsbedrijf VSB en Fundeon (nu Concreet). Addo Kraan werkt nu vier dagen als tekenaar/projectbegeleider bij Arbor Steiger advies & engineering bv en is daarnaast inzetbaar als steigerinspecteur en examinator via zijn bedrijf KwaVeiDo.

Gestuurd door zijn interesse en liefde voor het vak volgde Addo het samenstellen van de examens voor het nieuwe SVWOH Examenplatform (SEP). Het viel hem op dat de duur van het digitale examen monteur korter was dan voorheen. Daarna verdiepte hij zich in de ontwikkeling van het examen 1e monteur. Gaandeweg uitte Addo zijn zorgen over de kwaliteit van de concept examens bij de examencommissie. Deze zorgen werden gehoord en het bestuur van SVWOH besloot daarop hem te vragen adviseur voor de examencommissie te worden en te helpen de kwaliteit te borgen. Voor beiden examens zijn inmiddels de toetstermen en de toetsmatrijzen geüpdatet.

Pilot examen

De eerste examens die met SEP digitaal worden afgenomen zijn de examens monteur en 1e monteur. Inmiddels is de software zover opgeleverd dat 14 juli 2022 een pilot-examen voor zes kandidaten steigermonteur werd afgenomen bij Scaffolding Training Europe (STE) in Barendrecht. Addo Kraan was namens examenorganisatie IQC de examinator die daarbij zowel de kandidaten als het examenplatform aan de tand mocht voelen. Op de foto’s zien we het praktijkgedeelte van het examen.

Examen monteur

En, vind je het een verbetering?

“Het beoordelen van de individuele kandidaten is eenvoudiger.”, beaamt Addo, “Als examinator heb je tijdens het examen via een laptop of tablet toegang tot de gegevens. Je schakelt daarbij makkelijk tussen de gegevens van de kandidaten om je bevindingen te noteren. Je hoeft dus later niet je notities over te typen in het systeem.

Kun je meer voorbeelden van verbeteringen geven? “Je hoeft de multiple-choice vragen bij de theorie niet meer na te kijken. Het hele proces is efficiënter en sneller. Zowel de theorie- als de praktijkvragen. De theorievragen verschijnen nu random in het examen. De afzonderlijke examens zijn daarmee uniek. Dit maakt afkijken zinloos.”, legt Addo uit.

Hoe gaat SEP om met de vele talen waarin de examens beschikbaar zijn? “De stichting wil alle anderstaligen faciliteren bij de examens monteur en 1e monteur. Dus daarvoor worden de vragen en de antwoorden vertaald door gecertificeerde vertaalbureaus. Het is voor de vertalers wel een uitdaging om alle vakjargon goed te vertalen. Dat is toch heel specialistisch.”

Is er iets waar je persoonlijk blij van wordt? “Ja, het inspecteren van steigeronderdelen is weer terug in het examen voor de monteur. Kandidaten krijgen een kist te zien met onderdelen die ze moeten benoemen en inspecteren. Dat is wezenlijke kennis die we nu gelukkig weer kunnen toetsen.”, antwoord Addo tevreden. “Ook het maken van een materiaalstaat en het herkennen en benoemen van onveilige situaties zijn weer terug.”

Groepsdynamiek

Tijdens het examen zagen we dat je ook kijkt naar de samenwerking in de groep. Wie neemt de leiding? Hoe worden opdrachten opgevolgd? Hoe leg je deze groepsdynamiek vast? “Dat registreer je bij de communicatieve vaardigheden.”, legt Addo uit, “Vroeger was het examen puur technisch. Nu kijken we zeker ook naar de ‘soft skills’. Vooral bij het examen 1e monteur letten we op de leidinggevende capaciteiten van de kandidaten. Ik heb daar wel eens iemand op moeten laten zakken. Die had dat gewoon niet in zich. Voorheen kon je dat niet meewegen. Nu gelukkig wel.”

Het viel op dat je tijdens het examen wel af en toe overlegt met de kandidaten. Je laat ze het niet helemaal zelf uitzoeken? “Nee, een kandidaat kan vragen stellen. Ik kan natuurlijk niet bevestigen of hij het wel of niet goed doet. Maar op een slimme vraag waaruit blijkt dat hij het begrepen heeft, kan ik wel ingaan. Vaak stel ik een vraag terug en die beantwoorden ze dan in de meeste gevallen zelf goed. De vragen komen vaak uit onzekerheid, het is natuurlijk ook best spannend zo’n examen en hiermee geef ik ze wat meer zelfvertrouwen.”

De kandidaten werkten in groepen van drie monteurs tijdens het examen. Worden ze benadeelt als één van de monteurs zijn werk niet goed doet? “Ja, die discussie is er wel eens. Bij het examen monteur ben ik daar wat ontvankelijker voor. Maar als 1e monteur moet je daar mee om kunnen gaan. In de praktijk heb je je collega’s ook niet voor het uitzoeken. En vaak spreken de monteurs – letterlijk – niet allemaal dezelfde taal, dat maakt het ook weer moeilijker. Maar van een 1e monteur verwacht ik dat hij daar pro-actief mee omgaat.”

Examen monteur

Ben je gehoord?

Je gaf aan dat je in het begin kritisch was. Heb je ervaren dat er naar je geluisterd is?
“Ja, er zijn grote sprongen vooruit gemaakt. We zijn op de goede weg. Er zijn ook een onderwijskundige en toetsontwikkelaars met een praktijk-achtergrond bijgekomen. Dat zie ik terug in de kwaliteit. Maar een goede kwaliteit hangt niet alleen af van het gekozen platform. Dat wordt meer bepaald door het goed onderhouden van de toetsmatrijs en het actueel houden én verversen van de examenvragen.” Daar is Addo heel stellig in.

Tevreden klanten?

“Ik heb de kandidaten gevraagd wat ze van SEP als platform vonden. De reacties waren positief. Ik kreeg wel de opmerking dat ze niet goed bekend waren met alle mogelijkheden van de interface van SEP. Men had bijvoorbeeld laat door dat je met een vergrootglas kon inzoomen op de afbeeldingen. Die feedback heb ik nog teruggegeven.”, besluit Addo het gesprek.

Inmiddels zijn er demo-toetsen gemaakt waarmee examinatoren en kandidaten kunnen oefenen zodat ze vertrouwd raken met de werking van SEP. Deze demo-toetsen komen medio augustus beschikbaar op de site www.svwoh.nl.

Next steps

Nu de verzamelde feedback verwerkt is, komt de implementatie van SEP in een afrondende fase. De ingebruikname is per 1 september gepland. In de komende tijd zet de stichting samen met de examenorganisaties en DNV de laatste puntjes op de i.

Nieuws