Scoretypen

Introductie

De puntenverdeling bij meervoudig-juistvragen heeft meer aandacht nodig dan die van gewone meerkeuzevragen. Bij meervoudig-juistvragen kunnen kandidaten meerdere antwoorden kiezen en zelf bepalen hoeveel antwoorden ze kiezen. Dit heeft invloed op de puntenverdeling van de meervoudig-juistvraag.

Om de normering van deze vraag in te vullen, biedt Remindo voor de puntenverdeling vier opties:

• Correct antwoord
• Scoreverdeling
• Quotiëntregel
• Productregel

Met deze opties wordt bepaald wanneer de kandidaat voor deze vraag een punt (of punten) krijgt en wat hiervan het resultaat moet zijn. Het geeft dus antwoord op de vraag: op welke manier wordt de kandidaat beloond?

Als voorbeeld staat hieronder een meervoudig-juistvraag:

Hieronder zijn enkele landen genoemd. Welke landen liggen in Europa?

a. Canada

b. Nederland

c. Marokko d. Montenegro

Correct antwoord

De optie ‘correct antwoord’ betekent het volgende:

“Wanneer de kandidaat exact het juiste antwoord kiest, krijgt hij hiervoor een punt. Bij een (deels) onjuist antwoord worden er geen punten punten toegekend.”

In dit geval krijgt de kandidaat bij het geven van het juiste antwoord op de voorbeeldvraag een punt voor het kiezen van antwoord b in combinatie met het kiezen van antwoord d. Iedere andere combinatie levert geen punten op.

Er hangt een groot nadeel aan deze keuze. Wanneer de kandidaat één antwoordoptie zeker weet en er nog een tweede bij kiest, dan worden er geen punten toegekend, terwijl het antwoord op de vraag gedeeltelijk goed is. De validiteit van de vraag gaat daarmee omlaag.

Scoreverdeling

De optie ‘scoreverdeling’ betekent:

“Wanneer de kandidaat kiest voor het juiste antwoord, krijgt hij hiervoor een punt. Wanneer de kandidaat een fout antwoord kiest, wordt er een punt in mindering gebracht.”

Ten opzichte van de optie ‘correct antwoord’, wordt hier ook iets gedaan met foute antwoorden. De kandidaat die alle antwoorden aanvinkt, krijgt geen punten (2 punten voor de juiste antwoorden – 2 punten voor de foute antwoorden = 0 punten).

Een kandidaat die bij de voorbeeldvraag drie antwoorden kiest, scoort één punt (namelijk 2 punten voor de juiste antwoorden – 1 vanwege het foute antwoorden = 1 punt).

Het nadeel van deze optie is dat het geen rekening houdt met het aantal juiste of foute antwoorden in totaal. Wanneer een kandidaat in de voorbeeldvraag bijvoorbeeld kiest voor antwoord b en c, dan krijgt deze 0 punten (terwijl er één optie goed is), als hij kiest voor antwoord a, b en c, krijgt hij 0 punten en als hij alleen maar foute antwoorden kiest, krijgt hij ook 0 punten. Dat zorgt ervoor dat de vraag op deze manier weinig onderscheid maakt en daardoor niet erg effectief is.

Quotiëntregel

Om het probleem met de puntenverdeling bij meervoudig-juistvragen te verhelpen is er de quotiëntregel. De quotiëntregel gebruikt een formule waarbij rekening wordt gehouden met de proportie juiste en foute antwoorden.

De formule is als volgt:

Score = (PG/(1+PF))

• PG = proportie goed = aantal juist gekozen antwoorden gedeeld door aantal juiste antwoorden in de vraag
• PF = proportie fout = aantal fout gekozen antwoorden gedeeld door het aantal foute antwoorden in de vraag

De formule lost veel problemen op met betrekking tot de scoreverdeling bij meervoudig-juistvragen. Het kiezen van deze optie houdt in: “Ik weeg eerst hoeveel het juiste antwoord van de kandidaat waard is en hetzelfde doe ik voor het foute antwoord. De verhouding tussen deze twee getallen levert de score op.”

Een kandidaat die op de voorbeeldvraag antwoord a, b en c kiest, krijgt daarmee een score van 0,25. Wanneer de kandidaat kiest voor antwoord a en b, krijgt hij een score van 0,33. Het levert een heel genuanceerd beeld op van de waarde die toegekend wordt aan de kandidaat.

Deze regel heeft echter één nadeel: wanneer de kandidaat alle antwoordmogelijkheden aan vinkt, levert het altijd een score van 0,5 op. Dat is dus meer dan wanneer de kandidaat gericht heeft gekozen voor antwoord a en b. Daarmee zouden kandidaten gestimuleerd kunnen worden om toch alle antwoorden aan te vinken, als ze het niet zeker weten. Dit kan voorkomen worden door in Remindo te kiezen voor meerdere antwoorden (gelimiteerd) en een limiet opgeeft voor het aantal antwoorden dat de kandidaat kan kiezen.

Productregel

Met de productregel is het niet noodzakelijk om een limiet op te geven voor het aantal antwoordmogelijkheden die gekozen kan worden. In de productregel wordt de proportie fout niet in zijn geheel meegerekend, maar wordt hij vergeleken met het aantal juiste antwoorden. De formule is als volgt:

Score = PG x (1- PF x (1/2 + ((n-k)/n) x (1-1/2)))

• PG = proportie goed = aantal juist gekozen antwoorden gedeeld door aantal juiste antwoorden in de vraag
• PF = proportie fout = aantal fout gekozen antwoorden gedeeld door het aantal foute antwoorden in de vraag
• n = het totale aantal antwoordmogelijkheden
• k = het aantal juiste antwoordmogelijkheden

Het kiezen van deze optie betekent het volgende:

Hoe zwaar een fout antwoord bestraft moet worden, is afhankelijk van het aantal juist gekozen antwoorden en het aantal antwoordmogelijkheden in totaal. De vergelijking tussen de waarden van het juiste en van het foute antwoord levert de score op.

In de productregel varieert de mate waarin de proportie fout wordt meegewogen en tot aftrek leidt. Voor de kandidaat heeft het hierdoor minder zin om alle antwoordmogelijkheden aan te vinken. Het leidt tot een beter afgewogen score.

Verschillende opties, verschillende scores

Wat leveren de 4 opties aan score op als we kijken naar de voorbeeldvraag? In de matrix hieronder staan de resultaten bij verschillende antwoordcombinaties. Er is in dit voorbeeld geen sprake van bonuspunten. De kandidaat kan voor deze vraag maximaal 1 punt halen.

Als voorbeeld gebruiken we de volgende meervoudig-juistvraag:

Hieronder zijn enkele landen genoemd. Welke landen liggen in Europa?

a. Canada

b. Nederland

c. Marokko

d. Montenegro

Uitkomsten Gebaseerd op een totaalscore van 1 punt.

* De productregel vergelijkt het aantal foute antwoorden met het aantal juiste antwoorden, daarom komt er met de productregel voor deze antwoorden een lagere score uit.

** In dit voorbeeld ziet u dat het effect van de productregel beter is dan die van de quotiëntregel. Dit is een voorbeeld van een kandidaat die alle antwoorden heeft aangevinkt.

Vooraf aangeven hoeveel antwoorden juist zijn

Bij meervoudig-juistvragen is het mogelijk om vooraf aan te geven hoeveel antwoorden juist zijn of om dit in het midden te laten. Het heeft op de scoreverdeling alleen effect als er een limiet is ingesteld. Dit is in Remindo mogelijk door te kiezen voor meerdere antwoorden (gelimiteerd). Wanneer een limiet actief is, kunnen alle normeringsoptie gekozen worden.

Vooraf naar de kandidaat communiceren hoeveel antwoorden juist zijn, heeft daarnaast ook effect op de moeilijkheid van de vraag.