Poäng på prov?


9781412916820_200x_standard-setting

En sak man ofta hör från lärare är att man inte kan ha prov med poäng på. Är det så? Låt mig försöka svara på ett så lekmannamässigt sätt som jag nu kan. Svaret utgår från boken Standard setting (2007) av Gregory Cizek. Har den som pdf men vågar inte dela den här. Kan dock dela min powerpoint på boken från när jag redovisade den på Skolverket, 2010.

För att svara på frågan behöver vi backa till vad vi egentligen vill veta. Alltsomoftast vill vi veta vad andra vet. Anledningen till att vi vill veta det är att vi vill ge höga betyg till de som vet mer eller bättre, än de som vet mindre eller sämre.

Om kunskaperna är färdigheter som förmågan att köra bil så kan man inte enbart ”mäta förmågan” med ett poängsatt, skriftligt prov utan troligen behöver man ha nåt slags praktiskt förarprov också för att få acceptans för att provet kan säga nåt om hur duglig man är som förare.

Om kunskaperna är rent teoretiska så är det lättare att tänka sig poängsatta prov kan fungera – utifrån långa traditioner i skolan om inte annat. Förmågan att lösa matematiska problem är dock nåt man kan tänkas redovisa både muntligt och skriftligt. För att få en allsidig bild av någons kunskaper i matematik behöver man ofta se en person lösa matematiska problem i lite olika situationer och under lite olika villkor.

Hur gör man då poängsatta prov i förhållanden till kunskapskrav eller olika ”curriculum demands”?

Normalt sett följer man en process som ser ut såhär:

  1. På en forskningsinstitution där man kan mycket om mätteori och kunskapsbedömning inom ett visst ämne så samlar man experter inom ett visst ämne och årskurs för att ta fram provet. Det första man tittar på är provets syfte. Det styr provets design mer än något annat.
  2. Utifrån experternas råd och med hjälp av yrkesverksamma lärare i årskursen och ämnet börjar man ta fram uppgifter som passar syftet och ämnet och elevens ålder. Man diskuterar uppgifterna och försöker ta bort konstiga uppgifter som har brister eller är lätta att missförstå eller inte alls handlar om ämnet eller syftet med provet. De uppgifter man har kvar prövar man ut på sisådär 500 elever.
  3. När man får in utprövningsdata så kan man beräkna hur svår en uppgift är samt hur väl den diskriminerar mellan olika kunskapsnivåer. Inom klassisk testteori används oftast helt enkelt andelen rätt svar som mått på uppgifterna svårighetsgrad. Olika uppgifter sorterar olika bra mellan kunskaper (diskriminering). En uppgift som diskriminerar bra kännetecknas av att få mindre kunniga elver svarar rätt på uppgiften och många mer kunniga elever svarar rätt på uppgiften. Man kollar sen vilka uppgifter som är svårast och man kollar att de håller ihop. Dvs om det finns nån uppgift som både de bästa eleverna har 50/50 på och de sämsta har 50/50 på så brukar den slängas p.g.a. för dålig diskriminering. En uppgift ska hjälpa att avslöja vem som är bättre än nån annan. Det finns olika mått för att att kontrollera att uppgifterna testar ungefär samma sak, dvs att de hänger ihop, Cronbach alfa brukar användas inom klassisk testteori. Uppgifter som diskriminerar dåligt bidrar lite till att få provet att hänga ihop. Chronbachs alfa brukar sägas vara ett mått på provet reliabilitet (mätsäkerhet) och ju fler uppgifter med hygglig diskrimineringsförmåga desto högre reliabilitet.
  4. Ungefär här börjar man med möten med paneler med yrkesverksamma lärare. Här följer man ofta nån av de metoder som finns för att avgöra kvalitativa skillnader i provresultaten. Den mest populära metoden kallas Angoff-metoden. När man följer den så diskuterar man med panelen vad som menas med godtagbara kunskaper i ämnet och årskursen. Man tittar på kursplaner och krav och försöker konceptualisera den miniminivå som ska finnas i ämnet och årskursen. Efter det får varje panelmedlem skatta hur stor chans det är att en gränsfallselev skulle klara var och en av uppgifterna på provet (uttryckt som procent). Utifrån skattningarna kan man få en första bild av hur många poäng som krävs för att få ett godkänt resultat på provet. Det är den så kallade kravgränsen, för precis den elev som ska ha ett godkänt betyg som man försöker identifiera.
  5. När alla panelmedlemmar gjort sina skattningar och man räknat ut vad det skulle innebära i termer av poäng för den elev som precis ska ha ett godkänt betyg. Man får då se item p-värdena från utprövningen. Om nån vill skatta om en uppgift utifrån det så går det bra i denna andra omgång.
  6. Man räknar så ut en ny kravgräns. I det här skedet ska man enligt Gregory Cizek, ha en tredje omgång med diskussion om kravnivån är rimlig utifrån skolsystemet och samhället. Dvs är kravgränsen hållbar? Den slutliga kravgränsen beslutas av den myndighet som har uppdraget att fastställa kravnivåer för skolväsendet.
  7. Man upprepar sedan proceduren med skattningar utifrån nästa nivå. Den första kallas ofta för basic i litteraturen och den andra nivån kallas proficient. Det kan man tänka motsvarar nivåer som E och C som provbetyg i vårt system.
  8. Det bärande i alla kravgränssättningsmetoder är att man ska följa en föreskriven procedur utifrån ett ramverk man har för provframtagande. Man ska dokumentera avvikelser ifrån ramverket och man ska utvärdera sitt arbete med hjälp av oberoende forskare så att man har en stringens i provframtagandet. I själva verket så ligger själva rättvisan i ett prov aldrig i en absolut rättvisa utan i en procedurell rättvisa och transparens. Precis som i en domstol kan man aldrig vara helt säker på att man kommer fram till sanningen med stort S, men man ska kunna vara säker på att domstolen och provet följer reglerna för avgörandet.

Så tillbaka till det här med poäng på prov. Av ovan kan man se att metoder för provframtagande ska följa vetenskapliga krav på öppenhet, granskning och kvalitetssäkring. Man väljer ut de uppgifter till provet som bidrar till ökad reliabilitet och innehållslig validitet. Många kan nog anklaga poängprov för bristande validitet och kravgränserna är förvisso godtyckliga (arbitrary) och följer ingen naturgiven hierarki.

Fördelen med poängsatta prov är att de normalt sett har en mycket högre reliabilitet än betygsbedömningar av uppsatser eller muntliga presentationer. Men ju fler kravgränser provet har desto längre måste provet bli, eftersom varje kravgräns har ett fel.

Så hur man än gör så har man ändan bak. Att man kan ha poäng på prov är däremot sant. Men man behöver ta ställning till vad poängen säger om elevens kunskaper, vilken poäng som är lite svårare att få än en annan och liknande.

Ja, herreminje. Lycka till med provkonstruktionen där ute, kära kollegor! 🙂

Lämna en kommentar

Under Bedömning, Boktips, Empiriska studier, Skola, Undervisning, Utbildning

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com-logga

Du kommenterar med ditt WordPress.com-konto. Logga ut /  Ändra )

Google-foto

Du kommenterar med ditt Google-konto. Logga ut /  Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut /  Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut /  Ändra )

Ansluter till %s