Om projektet

Bakgrund

Inom staden anmäler sig cirka 10 000 elever till en kurs i matematik under ett år. Bland dessa elever är det en relativt hög andel som hoppar av (före och efter kursstart) eller som inte blir godkända. Det är svårt att bedöma faktiska förkunskaper inför antagningen till matematik.

Det behövs också bättre verktyg för att bedöma progression i undervisningen och jämföra resultat mellan utbildningsanordnare.

Stockholms stad har därför tagit initiativ till projektet Smarta prov inom vuxenutbildningen.

Projektfakta

I projektet utvecklas digitala, självrättande och adaptiva prov för vuxenutbildningen i matematik. Proven skrivs på distans med dator eller surfplatta och eftersom proven är självrättande kan resultaten erhållas direkt när provet är klart.

Proven, som är planerade att genomföras både inför och under kurserna i matematik, kommer att ge eleverna ökade möjligheter att klara sin utbildning och gå vidare till fortsatta studier eller arbete.

Vuxenutbildning Stockholm har från projektstarten 2021-01-01 till och med 2023-03-31 genomfört projektet i samverkan med det brittiska forskningsföretaget Meliometrics Ltd med forskare från University of Oxford, London School of Economics och Örebro universitet.

Ny fas i projektet från 1 april 2023

Då ramavtalet med förvaltningens samverkanspart Meliometrics löpte ut vid årsskiftet gjorde förvaltningen bedömningen att det saknades lagstöd att förlänga ramavtalet i sin dåvarande form. Förvaltningen beslöt därför att gå ut med en s.k. Request For Information (RFI). En RFI är en process med syfte att samla in information om leverantörer och i detta fall alternativa tekniska lösningar för att utveckla adaptiva prov. Parallellt tecknades ett tidsbegränsat avtal med Meliometrics för perioden 1 januari till 31 mars 2023, för att projektverksamheten skulle kunna fortsätta arbetet med frågekonstruktion samt kalibrering (utprovning) av frågorna med elever.

Den genomförda RFI:n har visat på alternativa vägar framåt för förvaltningen, varav en skulle kunna vara att gå ut i en offentlig upphandling. Innan beslut om vägval kommer förvaltningen att arbeta vidare med kravställningen på önskat system. Målsättningen är att denna blir klar under våren 2023. Provutvecklingen i samverkan med Meliometrics pausas i och med att det tidsbegränsade avtalet löper ut per 31 mars 2023.

Om adaptiva prov

Adaptiva prov bygger på psykometri, det vill säga statistiska metoder för psykologiska test och kunskapsprov. I traditionella prov svarar alla elever på samma frågor. Adaptiva prov skiljer sig från traditionella prov genom att eleverna svarar på olika frågor. Beroende på elevens svar väljs nya frågor ut från en bank med frågor av varierande svårighetsgrad.

Elever som svarar rätt får svårare frågor medan de som svarar fel får lättare frågor. På detta sätt individanpassas proven så att varje elev får frågor på en lämplig individuell nivå. Medan traditionella prov oftast skrivs med papper och penna är adaptiva prov digitala.

Adaptiva prov mäter elevernas resultat med större precision och även över ett större spann än traditionella prov. I traditionella prov kan man inte säkerställa att det finns tillräckligt många frågor för att mäta alla elevers kunskapsnivåer med ett enda prov. Därför behövs det också generellt färre frågor i adaptiva än i traditionella prov för att uppnå samma validitet och reliabilitet: adaptiva prov kan vara 50–90 procent kortare. Samtidigt är adaptiva prov mycket bättre på att fånga upp låg- och högpresterande elevers resultat på ett rättvist sätt, jämfört med traditionella prov.

Kontaktpersoner för frågor om projektet

Lena Karlthun, testpedagog, Vuxenutbildningscentrum

E-post: lena.karlthun@edu.stockholm.se

Anna Hörlén, Enhetschef digitalisering, it och informationshantering

E-post: anna.horlen@stockholm.se

Louise Bielenstein, Samordnare, Staben för utveckling- och utredning

E-post: louise.bielenstein@stockholm.se