De Wetenschap achter Gamified Assessments


Geschreven door ons Science team.

We zijn het er allebei over eens dat de grootste onopgeloste puzzel in recruitment waarschijnlijk gaat over hoe je het beste talent kan aannemen. In de afgelopen decennia zijn er talloze hiring tools en -methoden ontwikkeld en gebruikt om bedrijven te helpen betere wervingsbeslissingen te nemen. Verschillende soorten assessments, job tryouts, cv’s, motivatiebrieven, referenties etc., worden vaak gecombineerd met sollicitatiegesprekken om te beoordelen of een kandidaat geschikt is.

Eén vraag blijft echter: werken ze eigenlijk wel?


Een inkijkje in gamified assessments


Traditionele assessments zijn tests die worden gebruikt om de capaciteiten van sollicitanten te beoordelen, waarbij die resultaten uiteindelijk worden gebruikt om hun toekomstige job performance te voorspellen. Enkele voorbeelden zijn persoonlijkheidstests, cognitieve capaciteitentest, vaardigheidstests, situationele beoordelingstests en meer.

Hoewel bewezen is dat cognitieve capaciteitentests en persoonlijkheidstests sterke voorspellers zijn van toekomstige prestaties (Schmidt & Hunter, 1998; Borghans et al., 2016; Kuncel & Hezlett, 2010), hebben ze nog steeds nadelen die jouw wervingssucces kunnen dwarsbomen.

  • Ten eerste zorgen cognitieve capaciteitentests meestal voor een hoge cognitieve belasting voor sollicitanten, wat kan leiden tot veel uitval tijdens het wervingsproces.
  • Ten tweede hebben kandidaten bij traditionele persoonlijkheidstests vaak de neiging het meest sociaal wenselijke antwoord te kiezen of een antwoord dat alleen maar weergeeft hoe zij gezien willen worden. Dat kan resulteren in een verhoging van de scores, vooral in situaties waar veel op het spel staat, wat leidt tot een inaccurate voorspellende kracht (Niessen et al., 2017). Zelfs voor volkomen eerlijke kandidaten kan een zelfbeoordeling weinig voorspellend zijn voor het daadwerkelijke gedrag, gezien onderzoek waaruit blijkt hoe onnauwkeurig zelfbeoordelingen kunnen zijn (Dunning et al., 2004; Stajkovic & Luthans, 1998).
  • Ten slotte bevatten traditionele assessments vaak repetitieve vragen of elementen wat leidt tot verveling bij sollicitanten, waardoor ze afhaken.

Gelukkig heeft technologische vooruitgang geleid tot een baanbrekende methode om potentiële negatieve effecten van traditionele assessments te verbeteren, namelijk gamification. De verschillende vormen van gamification kunnen we grofweg in tweeën delen: gamified assessments en standalone game-based assessments (Landers et al., 2021; Armstrong et al., 2016).

Simpel gezegd verwijst gamified assessment naar het aanpassen van de oorspronkelijke vorm van traditionele assessments door game elementen toe te voegen om de motivatie te verhogen.

Een gamified assessment kan bijvoorbeeld bestaan uit een avatar die de vragen van de items van een persoonlijkheidstest stelt of het toevoegen van andere soort animaties en/of geluidseffecten (Collmus & Landers, 2015). Daarentegen zijn game-based assessments doelbewust gebouwde games die gegevens van het gedrag van spelers vastleggen, gewenste aspecten meten en de verzamelde informatie begrijpelijk maken. Een game-based assessment bestaat bijvoorbeeld uit een mini-game die is ontworpen met de intentie om de aandacht voor details van spelers te meten.

TLDR: Bekijk een video over Gamification in Recruitment


3 redenen waarom je voor Gamified Assessments zou moeten kiezen in plaats van Traditionele Assessments


Minder sociaal wenselijk gedrag en (on)bewust faken


Traditionele assessments, vooral persoonlijkheidsvragenlijsten, werken vaak ‘faking’ in de hand. Met andere woorden, een fenomeen genaamd “Social Desirability Bias” (ook bekend als “zelfpresentatie”) werd geïntroduceerd voor (on)opzettelijk faken, waarbij kandidaten (onvrijwillig) het meest sociaal wenselijke antwoord kiezen in plaats van de opties die hen het best beschrijven (Ganster et al., 1983). Hun antwoorden worden dan ‘opgeblazen’ en leiden uiteindelijk tot onjuistheden bij de score-interpretatie.


Dit fenomeen doet zich vaker voor in situaties waar veel van af hangt (bijv. wervingsproces of andere selectieprocedures) dan in situaties waar weinig van af hangt, wat ongewenste gevolgen kan hebben in besluitvorming (Niessen et al., 2017). Daarnaast kunnen er kandidaten zijn die alleen de extreme antwoorden kiezen in een bewuste poging hun scores op te krikken (Landers, Sackett & Tuzinski, 2011).


Gamified assessments bieden op twee manieren een oplossing bij deze problemen. Ten eerste hebben gamified assessments meestal minder voor de hand liggende (en sociaal wenselijke) antwoorden. Vaak zijn gamified assessments beter in het verbergen van wat de games precies meten (Tountopoulou et al., 2021; Nikolaou et al., 2019; Armstrong et al., 2016). Als de kandidaten zich tijdens een sollicitatieprocedure bijvoorbeeld niet volledig bewust zijn van het doel van de game, zullen ze tijdens het spelen streven om te winnen en niet om in een goed daglicht te verschijnen. Dit kan vervolgens leiden tot een nauwkeurigere evaluatie van de capaciteiten van kandidaten, in plaats van “verbloemde” beoordelingsscores.



Ten tweede gebruiken traditionele assessments vaak zelfbeoordelingen als primaire methode om de antwoorden van sollicitanten te verzamelen. De kans op ‘faken’ is groot omdat dit uitsluitend gebaseerd is op een persoonlijk oordeel. Het spelen van games en het gebruik van contexten die de capaciteiten van kandidaten in meer specifieke situaties meten, zouden kunnen leiden tot betere conclusies over toekomstige performance dan assessments die gebaseerd zijn op zelfbeoordelingen (Fetzer et al., 2017; Fiore, 2016).


Vergelijkbare voorspellende kracht maar aantrekkelijker als organisatie voor kandidaten.


Maak jij je zorgen over de voorspellende kracht en validiteit van gamified assessments? Laat me je geruststellen – verschillende studies hebben namelijk aangetoond dat de ‘gamified’ variant van assessments dezelfde voorspellende kracht en validiteit heeft (Landers et al., 2021; Georgiou et al., 2019; Nikolaou et al., 2019; Levy et al., 2016).


Gorgeous et al. (2019) hebben bijvoorbeeld bewezen dat gamified situationele beoordelingstesten dezelfde constructvaliditeit hebben als de traditionele situationele beoordelingstesten. Verder toonden Levy et al. (2016) aan dat een game-based assessment dezelfde antwoorden verkreeg als traditionele persoonlijkheidstests en dat het gedrag dat in de game werd gemeten kon worden gebruikt als voorspeller van bepaalde persoonlijkheidskenmerken.


Bijkomende voordelen van gamified assessments zijn naar voren gebracht door Chow & Chapman (2013, p.93), die stellen dat:

een organisatie die het gebruik van gamification toepast in het wervingsproces kan bij individuen de indruk wekken dat de organisatie geavanceerd technologie heeft, trendy en innovatief is”.


Innovatieve technologieën hebben herhaaldelijk bewezen dat ze positieve effecten hebben op de beleving van een bedrijf vanuit het oogpunt van sollicitanten (Bartram & Hambleton, 2006; Landers et al., 2021; Sinar et al, 2016). Zo hebben Gkorezis et al. (2021) aangetoond dat gamified situationele beoordelingstesten een positieve invloed hebben op de perceptie van sollicitanten ten aanzien van de ‘aantrekkingskracht van het bedrijf’, waardoor ze indirect sneller geneigd zijn dit bedrijf aan anderen aan te bevelen.


Hogere betrokkenheid van kandidaten en meer positieve reacties.


Om de voortdurende ‘talent war’ te winnen, wordt het als bedrijf tijd om prioriteit te geven aan de candidate experience bij het bepalen van je wervingsmethoden. Als een selectieprocedure door kandidaten als gunstig wordt ervaren, kan dat leiden tot minder uitval in het wervingsproces; een grotere kans dat kandidaten de baan aannemen; minder kans op verspreiding van geruchten die de reputatie van het bedrijf negatief beïnvloeden en onderliggende juridische kwesties (Ababneh et al., 2014; Derous et al., 2004; Rynes & Connerley, 1993; Smither et al., 1993).


Reacties van sollicitanten op gamified assessments kunnen in twee groepen worden onderverdeeld: motivatie en gedrag.


Laten we eerst kijken naar reacties wat betreft motivatie. Deze categorie omvat autonome motivatie (met andere woorden, je doet iets omdat je het zelf wil of interessant vindt, voorbeeld: candidate engagement), testmotivatie, testangst en meer. Het gebruik van gamified assessments leidt tot meer betrokkenheid van kandidaten, testmotivatie, tevredenheid en vermindert testangst doordat kandidaten assessments op een dynamische, minder repetitieve manier kunnen maken (Landers et al., 2021; Guin et al., 2012; Collmus & Landers, 2019).


Onderzoekers hadden aangetoond dat sollicitanten een hogere mate van procestevredenheid en plezier rapporteerden tijdens deelname aan gamified assessments, vergeleken met de traditionele assessments (Georgiou & Nikolaou, 2020; Guin et al., 2012). Kortom, gamified assessments verbeteren de betrokkenheid van testnemers door het vervullen van de psychologische behoefte aan bevrediging (dat wil zeggen: autonomie, competentie en verwantschap) in de gamedynamiek (Suh et al., 2016). Zelfs het eenvoudigste game element, zoals een voortgangsbalk, kan uitval verminderen, omdat het dient als communicatiemiddel met kandidaten over hoeveel vragen er nog resteren (Yan et al., 2011).


Gedragsmatige reacties van sollicitanten verwijzen naar de waargenomen rechtvaardigheid van het wervingsproces. Voorbeelden hiervan zijn distributieve rechtvaardigheid (de nauwkeurigheid van hoe de scores de werkelijke prestaties weergeven), procedurele rechtvaardigheid (kans om te presteren), functiegerelateerdheid (de waargenomen relevantie voor de aard van de baan), gepastheid van de test, en meer. Onderzoekers hebben aangetoond dat al deze bovengenoemde voorbeelden als positiever werden ervaren wanneer deelnemers aan gamified assessments deelnamen, vergeleken met de traditionele cognitieve capaciteitentests (Landers et al., 2021).


Tot slot


De afgelopen eeuw hebben onderzoekers zich ingespannen om de efficiëntie en effectiviteit van talloze personeelsselectiemethoden te onderzoeken. De wetenschap achter gamified assessmentmethoden heeft bewezen dat ze valide en nuttig zijn. Ze kunnen objectievere resultaten opleveren dan wanneer je alleen vertrouwt op menselijke beoordelingen. Hoewel geen enkele beoordelingsmethode feilloos is, kunnen gamified assessments verschillende problemen van traditionele assessments aanpakken. Ze maken organisaties aantrekkelijker voor kandidaten; ze bevorderen de candidate experience; en ze verminderen de onnauwkeurigheid als gevolg van sociale wenselijke antwoorden in traditionele assessments.

Cheers, Jiaying

Een psycholoog met als hoofdvak wetenschappelijke talent assessment.
Hoofdzakelijk gericht op onderzoek naar de perceptie en de reactie van stakeholders op het wervingsproces.


Referenties

Ababneh, K. I., Hackett, R. D., & Schat, A. C. (2013). The Role of Attributions and Fairness in Understanding Job Applicant Reactions to Selection Procedures and Decisions. Journal of Business and Psychology, 29, 111–129. https://doi.org/10.1007/s10869-013-9304-y

Armstrong, M. B., Landers, R. N., & Collmus, A. B. (2016). Gamifying recruitment, selection, training, and performance management: Game-thinking in human resource management. In Emerging research and trends in gamification (pp. 140-165). IGI Global.

Armstrong, M. B., Landers, R. N., & Collmus, A. B. (2016). Gamifying recruitment, selection, training, and performance management: Game-thinking in human resource management. In Emerging research and trends in gamification (pp. 140-165). IGI Global

Bartram, D., & Hambleton, R. (Eds.). (2005). Computer-based testing and the internet: Issues and advances. John Wiley & Sons.

Borghans, L., Golsteyn, B. H., Heckman, J. J., & Humphries, J. E. (2016). What grades and achievement tests measure. PNAS Proceedings of The National Academy of Sciences of The United States Of America, 113, 13354-13359. doi:10.1073/pnas.1601135113

Collmus, A. B. & Landers, R. N. (April 2015). Game narrative in personality assessment: The development of a scale. Presented at Virginia Psychological Association’s Spring Convention and Education Conference, Virginia Beach, VA.

Collmus, A. B., & Landers, R. N. (2019). Game-framing to improve applicant perceptions of cognitive assessments. Journal of Personnel Psychology.

Derous, E., Born, M. P., & Witte, K. D. (2004). How applicants want and expect to be treated: Applicants’ selection treatment beliefs and the development of the social process questionnaire on selection. International Journal of Selection and Assessment, 12, 99-119. https://doi.org/10.1111/j.0965-075X.2004.00267.x

Dunning, D., Heath, C., & Suls, J. M. (2004). Flawed self-assessment: Implications for health, education, and the workplace. Psychological Science in the Public Interest, 5(3), 69-106.

Fetzer, M., McNamara, J., & Geimer, J. L. (2017). Gamification, serious games and personnel selection. Pulakos, J. Passmore, & C. Semedo (Eds.), The Wiley Blackwell handbook of the psychology of recruitment, selection and employee retention, 293-309.

Fiore, C. A. (2016). Gamification of Individual Differences.

Ganster, D. C., Hennessey, H. W., & Luthans, F. (1983). Social desirability response effects: Three alternative models. Academy of Management Journal, 26(2), 321-331.

Georgiou, K., & Nikolaou, I. (2020). Are applicants in favor of traditional or gamified assessment methods? Exploring applicant reactions towards a gamified selection method. Computers in Human Behavior, 109, 106356.

Georgiou, K., & Nikolaou, I. (2020). Are applicants in favor of traditional or gamified assessment methods? Exploring applicant reactions towards a gamified selection method. Computers in Human Behavior, 109, 106356.

Georgiou, K., Gouras, A., & Nikolaou, I. (2019). Gamification in employee selection: The development of a gamified assessment. International journal of selection and assessment, 27(2), 91-103.

Gkorezis, P., Georgiou, K., Nikolaou, I., & Kyriazati, A. (2021). Gamified or traditional situational judgement test? A moderated mediation model of recommendation intentions via organizational attractiveness. European Journal of Work and Organizational Psychology, 30(2), 240-250.

Guin, T. D. L., Baker, R., Mechling, J., & Ruyle, E. (2012). Myths and realities of respondent engagement in online surveys. International Journal of Market Research, 54(5), 613-633.

Kuncel, N. R., & Hezlett, S. A. (2010). Fact and fiction in cognitive ability testing for admissions and hiring decisions. Current Directions in Psychological Science, 19, 339-345. doi:10.1177/0963721410389459

Landers, R. N., Armstrong, M. B., Collmus, A. B., Mujcic, S., & Blaik, J. (2021). Theory-driven game-based assessment of general cognitive ability: Design theory, measurement, prediction of performance, and test fairness. Journal of Applied Psychology.

Levy, L. M., Solomon, R., Johnson, J., Wilson, J., Lambeth, A. J., Gandy, M., … & Liu, R. (2016). Grouches, Extraverts, and Jellyfish: Assessment Validity and Game Mechanics in a Gamified Assessment. In DiGRA/FDG.

Niessen, A. S. M., Meijer, R. R., & Tendeiro (2017). Measuring non-cognitive predictors in high-stakes contexts: The effect of self-presentation on self-report instruments used in admission procedures. Personality and Individual Differences, 106, 183-189. doi: 10.1016/j.paid.2016.11.014

Nikolaou, I., Georgiou, K. & Kotsasarlidou, V. (2019). Exploring the Relationship of a Gamified Assessment with Performance, The Spanish Journal of Psychology, 22. https://doi.org/10.1017/sjp.2019.5.

Rynes, S. L., & Connerley, M. L. (1993). Applicant reactions to alternative selection procedures. Journal of Business and Psychology, 7, 261-277. https://doi.org/10.1007/BF01015754

Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274. doi:10.1037/0033-2909.124.2.262

Sinar, E. F., Reynolds, D. H., & Paquet, S. L. (2003). Nothing but ‘net? Corporate image and web-based testing. International Journal of Selection and Assessment, 11, 150-157.

Smither, J. W., Reilly, R. R., Millsap, R. E., AT&T, K. P., & Stoffey, R. W. (1993). Applicant reactions to selection procedures. Personnel psychology, 46, 49-76. https://doi.org/10.1111/j.1744-6570.1993.tb00867.x

Stajkovic, A. D., & Luthans, F. (1998). Self-efficacy and work-related performance: A meta-analysis. Psychological Bulletin, 124(2), 240.

Suh, A., Wagner, C., & Liu, L. (2018). Enhancing user engagement through gamification. Journal of Computer Information Systems, 58(3), 204-213.

Yan, T., Conrad, F. G., Tourangeau, R., & Couper, M. P. (2011). Should I stay or should I go: The effects of progress feedback, promised task duration, and length of questionnaire on completing web surveys. International Journal of Public Opinion Research, 23(2), 131-147.

Our inspirational blogs, podcasts and video’s

Listen to what they say about our product offering right here