ChatGPT niet slim genoeg voor de intelligentietest ‘Connector Ability’

Verschillende onderzoekers en psychologen hebben de vragen uit diverse IQ-tests aan ChatGPT voorgelegd. ChatGPT is ontwikkeld op basis van taalmodellen. Het verrast dan ook niet dat vooral testvragen met een talige inhoud goed door ChatGPT beantwoord kunnen worden. Bijna foutloos beantwoordt ChatGPT vragen over overeenkomsten tussen woorden. Ook vragen over begrip van algemene kennis, principes en sociale situaties worden gedetailleerd beantwoord. Daarnaast blijkt ChatGPT ook tests voor logisch redeneren goed te begrijpen en met een gedegen onderbouwde redenering het juiste antwoord te geven.

Deze uitkomsten wekten de nieuwsgierigheid bij GITP. In hoeverre zijn de intelligentietests van GITP ChatGPT-proof?

De afdeling PDAI (Product Development, Analytics and Innovation) heeft daarom onderzocht in hoeverre je met behulp van ChatGPT hogere scores op de Connector Ability en Connector Verbale Analogieën zou kunnen behalen. Proefondervindelijk zijn vragen uit de Connector Ability met hun antwoordalternatieven aan ChatGPT voorgelegd en het gegeven antwoord getoetst.

In het algemeen blijkt dat ChatGPT nog niet zo goed is dat dit AI-programma deelnemers kan helpen om hogere scores op onze tests te behalen.

Onze bevindingen specifiek per subtest

• Matrixen: ChatGPT kan nog geen plaatjes decoderen en patronen daarin herkennen. Alleen met heel veel moeite en specialistische IT-kennis kunnen plaatjes handmatig naar programmeercode omgezet worden zodat ChatGPT het kan inlezen en begrijpen. Gezien onze grote itembank is dat vrijwel onbegonnen werk en door de gemiddelde testdeelnemer niet uitvoerbaar.
• Figuurreeksen: hiervoor geldt hetzelfde als voor de matrixen.
• Cijferreeksen: Zeer gemakkelijke cijferreeksen los ChatGPT juist op. Maar zodra de opgaven moeilijker worden en meerdere bewerkingen tegelijkertijd plaatsvinden, kan ChatGPT geen oplossing vinden of kiest het programma niet juiste antwoordalternatieven.
• Verbale Analogieën: Gezien het feit dat ChatGPT gebaseerd is op taalmodellen, verwacht je dat ChatGPT verbale analogieën gemakkelijker oplost. Dit blijkt echter niet zo te zijn. De meerdere betekenissen van de woordrelaties in de opgaven neemt ChatGPT niet goed mee, vaak wordt maar één betekenis gebruikt. Soms is een oplossing goed, maar vaak ook niet.

Kortom voor de MBO4-BA-MA versie van de ConnectorAbility zien we voorlopig nog geen bedreiging van ChatGPT. Bij de (V)MBO-versie kan ChatGPT alleen een beetje helpen bij cijferreeksen. Maar de ontwikkelingen met AI gaan snel. Bij GITP blijven we daarom monitoren of ChatGPT onze assessments niet te slim af wordt!