Startpagina / Samenvattingen / Meten en observeren / item-moeilijkheid-items

Meettechniek: Toetsen

Q: Hoe gaan we beoordelen/toetsen bij een gesloten toets?

Vaak automatisch en gestandaardiseerd verbeteren Objectief verbeteren Analytisch: elk item apart scoren.

Q: Wat zijn parallelle toetsen?

In onderzoeken kan het zijn dat men meerdere versies van een toets wil ontwikkelen. Dit om vertekening te vermijden zodra respondenten meer dan éénmalig worden getoetst. De verschillende toetsversies moeten zo vergelijkbaar mogelijk zijn waarbij het niet zou mogen uitmaken welke versie de respondent maakt. Dit noemen we de parallelle toetsen.

Q: Het theoretisch model bij KTT heeft 2 veronderstellingen betreffende de meetfout:

· We verwachten dat bij een willekeurige meting de meetfout de waarde 0 aanneemt. betekent: Indien we leerlingen voldoende vermenigvuldigingen voorschotelen, nivelleren meetfouten op elk afzonderlijk onderdeel van de toets (=elke vermenigvuldiging) zich uit. · We verwachten geen samenhang, dus onafhankelijkheid tussen de meetfout en de ware scores Betekent: leerlingen die de tafels goed geautomatiseerd hebben, hebben niet systematisch positieve meetfouten en leerlingen die de tafels nog niet automatiseerden hebben niet systematisch negatieve meetfouten (of vice versa).

Q: Wat is Cronbachs's alpha?

Cronbach’s alpha is een betrouwbaarheidsanalyse om vast te stellen of meerdere items één schaal/ één groep mogen vormen . Wat betekent het? Hoeveel variantie hebben items gemeenschappelijk?

10 belangrijke vragen over Meettechniek: Toetsen

Kenmerken van een open toets?

· Men formuleert zelf een antwoord of oplossing
o Open vragen, vrije invulling
o Creatieve of complex opdrachten
o Geen vooraf vastgesteld correct antwoord

· Antwoorden kunnen sterk variëren

· Meer ruimte voor interpretatie (beoordelaar moet inschatten hoe goed het antwoord is). => leidt vaak tot scores op school (1/10)
· Beperkt aantal items mogelijk door tijd en correctiewerk
Diepere analyse van vaardigheden of inzicht mogelijk. Hogere validiteit voor complexe vaardigheden.
Toetsresultaat= score op basis van beoordelingscriteria

Hoe gaan we beoordelen/toetsen bij een gesloten toets?

Vaak automatisch en gestandaardiseerd verbeteren
Objectief verbeteren

Analytisch: elk item apart scoren.

Wat zijn parallelle toetsen?

In onderzoeken kan het zijn dat men meerdere versies van een toets wil ontwikkelen. Dit om vertekening te vermijden zodra respondenten meer dan éénmalig worden getoetst. De verschillende toetsversies moeten zo vergelijkbaar mogelijk zijn waarbij het niet zou mogen uitmaken welke versie de respondent maakt. Dit noemen we de parallelle toetsen.

Wat kan vertekening veroorzaken bij parallelle toetsen?

· Respondent herinnert zich (een deel) van de items en heeft daardoor meer kans de items juist te beantwoorden.
· Bij high stake toetsen met een sterke impact wil de onderzoeker dat de vragen niet verspreid geraken zodat er geen bedrog kan gepleegd worden of de respondenten zich niet kunnen voorbereiden.

Wat is het verschil tussen KTT en IRT

Klassieke testtheorie (KTT)

Meetmodel: mensen die hoog scoren op de test, scoren hoog in het echt.
Informatie over:

moeilijkheid items
discriminatievermogen items
betrouwbaarheid toets

Nadeel: steekproefafhankelijkheid en bestaat er een ware score?

Item response theorie (IRT)

Meetmodel

Hoe gemakkelijker een item, hoe vaker het juist beantwoord zal worden
Hoe vaardiger de respondent, hoe groter de kans dat hij een item juist zal hebben (steekproefonafhankelijk).

Informatie over

Moeilijkheid items
Discriminatievermogen items
Schatting vaardigheid respondent

Nadeel: Statistisch moeilijker te vatten

Het theoretisch model bij KTT heeft 2 veronderstellingen betreffende de meetfout:

· We verwachten dat bij een willekeurige meting de meetfout de waarde 0 aanneemt.
betekent: Indien we leerlingen voldoende vermenigvuldigingen voorschotelen, nivelleren meetfouten op elk afzonderlijk onderdeel van de toets (=elke vermenigvuldiging) zich uit.
· We verwachten geen samenhang, dus onafhankelijkheid tussen de meetfout en de ware scores
Betekent: leerlingen die de tafels goed geautomatiseerd hebben, hebben niet systematisch positieve meetfouten en leerlingen die de tafels nog niet automatiseerden hebben niet systematisch negatieve meetfouten (of vice versa).

Wat is Cronbachs's alpha?

Cronbach’s alpha is een betrouwbaarheidsanalyse om vast te stellen of meerdere items één schaal/ één groep mogen vormen. Wat betekent het?
Hoeveel variantie hebben items gemeenschappelijk?

Wat is de Item Response theorie (IRT)

Legt het verband tussen
· Vaardigheid van een respondent
· Kans item juist te hebben
Dit op basis van statistisch model met:
· Itemkenmerken:
o Moeilijkheid
o (Discriminatievermogen)
· Respondentkenmerk
* Vaardigheid

Hoe worden de uitkomsten van IRT uitgedrukt?

.Uitkomsten in logits: Logits = wiskundige vertaling van probabiliteiten
Drukken kans uit tot in oneindig
Logit = 0 dan p=.50

Welke verschillende IRT modellen bestaan er?

Rasch model:

moeilijkheid item: per item een afzonderlijke moeilijkheid. Men gebruikt de moeilijkheidsparameter:item-characteristic curves. Een grafische voorstelling die de vergelijking formeel weergeeft.
Discriminerend vermogen item: per item een afzonderlijke moeilijkheid. Alle items een discrimantiewaarde 1

1-Parametrisch model

Moeilijkheid item: per item een afzonderlijke moeilijkheid
Discriminatievermogen item: alle items een gelijke discriminatiewaarde, maar niet perse 1

2-Parametrisch model

moeilijkheid item: per item een afzonderlijke moeilijkheid
Discriminatievermogen item: items kunnen verschillen (meer observaties nodig per item).

De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:

Meten en observeren

Bekijk samenvatting

Een unieke studie- en oefentool
Nooit meer iets twee keer studeren
Haal de cijfers waar je op hoopt
100% zeker alles onthouden

Onthoud sneller, leer beter. Wetenschappelijk bewezen.

Studiemateriaal generieke omslagafbeelding

Meettechniek: Toetsen

10 belangrijke vragen over Meettechniek: Toetsen

Kenmerken van een open toets?

Hoe gaan we beoordelen/toetsen bij een gesloten toets?

Wat zijn parallelle toetsen?

Wat kan vertekening veroorzaken bij parallelle toetsen?

Wat is het verschil tussen KTT en IRT

Het theoretisch model bij KTT heeft 2 veronderstellingen betreffende de meetfout:

Wat is Cronbachs's alpha?

Wat is de Item Response theorie (IRT)

Hoe worden de uitkomsten van IRT uitgedrukt?

Welke verschillende IRT modellen bestaan er?

Samenvattingen die gerelateerd zijn aan Meettechniek: Toetsen

Meten en observeren

Psychologie & sociologie : basiscursus

Overheidsfinanciën

Hoofdzaken socialezekerheidsrecht

Van de BV en de NV

Socialezekerheidsrecht

Schets van het Nederlandse arbeidsrecht

Ondernemings- en faillissementsrecht

De diagnostische cyclus

Corporate governance

Economie en recht

Verzekeringsrecht