Onderzoek
Zeven papers over de leesschaal, vier over spreekvaardigheid. Elke paper zegt waarop de cijfers rusten, ook als dat synthetische testdata is.
Papers over spreekvaardigheid
Alle nauwkeurigheidscijfers komen tot nu toe uit testmateriaal: synthetische stemmen, geschreven testzinnen en de tekst van rubrics. Geen enkel cijfer komt van echte leerlingen.
Waarop de cijfers rusten: Synthetische gegevens: 24 voor de studie geschreven leerlingzinnen in het Spaans en het Frans, nagekeken door 45 taalmodellen; elk cijfer is een bovengrens.
Lees de paper (pdf)Waarop de cijfers rusten: Synthetische stemmen: 70 fragmenten, elk als correcte versie en als tweeling met één ingebouwde klankfout, beoordeeld door één commerciële uitspraakdienst.
Lees de paper (pdf)Waarop de cijfers rusten: Synthetische, correct gevormde werkwoordsvormen (een raster van 1.005) plus 83 door regels gegenereerde leerlingfouten; de cijfers van de taggers zijn bovengrenzen.
Lees de paper (pdf)Waarop de cijfers rusten: De tekst van 166 criteria uit 10 gepubliceerde beoordelingsschema's voor spreken, niet gegevens van leerlingen.
Lees de paper (pdf)Papers over de leesschaal
De kalibratie rust niet op teksten die door mensen gelabeld zijn, en een deel van de validatie gebruikt synthetische stemmen. De papers zeggen per cijfer waarop het rust.
Waarop de cijfers rusten: Een specificatie met twee proefexperimenten op 20 Nederlandse teksten en modeloordelen; toetsing bij lezers is toekomstig werk.
Lees de paper (pdf)Waarop de cijfers rusten: Modeloordelen en tekstkenmerken, vergeleken met het door mensen beoordeelde Engelse CLEAR-corpus; Nederlandse validatie voorbij proefschaal staat nog open.
Lees de paper (pdf)Waarop de cijfers rusten: Een raamwerk en een vooraf vastgelegd onderzoeksontwerp, geschreven voor er klasgegevens waren; de gegevens komen later.
Lees de paper (pdf)Waarop de cijfers rusten: Simulaties (1.080 runs) met ruis uit de eigen beoordelingsgegevens van de schaal; de eerste echte herkalibratieronde moet nog komen.
Lees de paper (pdf)Waarop de cijfers rusten: Synthetische opnames met ingebouwde leesfouten (144 items); opnames van echte kinderen zijn vervolgwerk.
Lees de paper (pdf)Waarop de cijfers rusten: Simulaties van lezers (225 cellen), niet opnames van echte lezers.
Lees de paper (pdf)Waarop de cijfers rusten: Synthetische stemmen die teksten lezen met ingebouwde fouten; de paper zegt zelf dat dit geen nauwkeurigheid bij kinderstemmen aantoont.
Lees de paper (pdf)