UiL (Udvikling i Livsfærdigheder) – en ny type pædagogisk redskab

I skoleåret 2016/2017 gennemførte NordicMetrics sammen med Aarhus og København kommune første fase af et udviklingsprojekt. Projektet går ud på at udvikle et IT-baseret redskab (UiL), som læreren kan bruge i sin pædagogiske praksis til at undersøge elevernes udvikling i forskellige ”livsfærdigheder” – såsom selvtillid, samarbejdsevner, motivation, vedholdenhed og kritisk tænkning (også kaldet non-kognitive færdigheder – som modstykke til de kognitive færdigheder fx intelligens og faglige færdigheder i læsning eller regning). Dette er et spørgeskemaværktøj udviklet til at lærerne kan få elevernes svar omregnet til en score, der kan give læreren et hurtigt overblik over fx elevens selvtillid og motivation.

Helt konkret fungere UiL-systemet ved at læreren udvælger nogle af de færdigheder, som de synes er særligt interessante for deres aktuelle arbejde. Læreren foretager en reservation til klassen. Når eleverne logger sig ind på systemet får de en række spørgsmål, der er relateret til de færdigheder læreren har valgt at fokusere på. Når eleverne har besvaret spørgsmålene, beregner systemet en såkaldt ”skalascore” og så kan læreren gå ind i systemet og få vist resultaterne som grafik (som et spindelvævsdiagram eller som kurver) eller i tabelform. Ved at sammenligne med elevens tidligere besvarelser kan læreren vurdere elevens udvikling på området. Læreren kan så bruge denne information i sin pædagogiske tilrettelæggelse, det kollegiale samarbejde eller som et element i læringssamtaler med eleven.

Forberedelsesfasen: Fra ide til projekt, 2013-2015

Projektet tog afsæt i en række overvejelser, dialoger og undersøgelser i vores netværk mulighederne for at foretage en egentlig måling af noget af det der figurerer under linje 1 i folkeskolens formålsparagraf – altså at forberede til uddannelse, lyst til at lære, kende dansk kultur og historie, andre lande og deres kulturer, forstå menneskets samspil med naturen, fremme den enkelte elevs alsidige udvikling, udvikle arbejdsmetoder, skabe rammer for oplevelse, fordybelse og virkelyst, udvikle erkendelse og fantasi, tillid til egne muligheder, mod til at tage stilling og handle, forberede til deltagelse, medansvar, rettigheder og pligter, frihed og folkestyre, åndsfrihed, ligeværd og demokrati.

Fra medio 2013 og de følgende måneder brugte vi en del krudt på – i samarbejde med Guido Makransky (SDU) – at dissikere disse begreber og undersøge overlap til de konstrukter, der er for beskrivelse af personlige og sociale egenskaber/færdigheder indenfor internationale psykologiske/psykometriske videnskabeligt forskning. Guido diskuterede problemstillingerne med forskere fra Griffith University . Medio 2014 kom Peter Creed og Michelle Hood (begge Griffith Uni.) til København for at arbejde, og her fik vi lejlighed til at gå i dybden med valg af skalaer. Vi fik identificeret en række skalaer, der samlet måler noget der lægger sig op ad formålsparagraffens nøglebegreber. Ideen til et projekt begyndte at tage form og blev drøftet med Aarhus og Københavns Kommuner. Der var yderligere ønsker om at tilføje nogle skalaer, der ville gøre det muligt at skabe viden til brug for vurdering af og arbejdet med unges uddannelsesparathed.

Udviklingsfasen: Skalaafprøvning og applikationsudvikling 2015-2017

Der blev indgået aftale om samarbejde om at udvikle det, som blev til UiL. I løbet af de sidste år blev  systemet designet og de i alt 19 skalaer blev udviklet, afprøvet, valideret og justeret på enkelte af de spørgsmål, som eleverne skal besvare. Det var en stor opgave hvor vi i samarbejde med 8 skoler (4 i Aarhus, 4 i København), udsendte spørgsmålene af tre omgange henover skoleåret, til elever fra 4. til 9. klassetrin. I slutningen af perioden blev it-systemet udviklet til at kunne indsamle og vise elevens resultater. Der blev endvidere eksperimenteret med at indtænke elevernes besvarelser i pædagogisk øjemed – fx holde en refleksionssamtale med elever om deres vurderinger og holdninger.

Implementeringsfasen: Afprøvning af UiL og Ver.2-UiL 2018-2019

I 2018 videreudviklede vi systemet, og ikke mindst anvendelsen heraf. I samarbejde med Aarhus kommune og Aarhus Universitet afprøvede vi UiL som input til “KvaS-Vital” på 4 skoler i Aarhus (KvaS-Vital er et koncept udviklet af Jan Tønnesvang, Aarhus Universitet). UiL giver mulighed for at give et øjebliksbillede ved at måle de personlige og sociale færdigheder der fokuseres på. Ved at sammenligne flere målinger får man et billede af udvikling. UiL-systemet giver altså mulighed for at følge og fokusere på effekten af indsatser (fx undervisningsforløb), der har til hensigt at styrke elevens livsfærdigheder (fx samarbejdsevne, motivation og faglig selvtillid). Men resultaterne kan også anvendes på anden måde, fx i dialogen med eleven. Nogle af disse anvendelser – herunder at følge udviklingen indenfor de områder der måles – skulle vil i denne fase blive undersøgt, belyst og beskrevet mere systematisk i samarbejde med skoler og lærere. Indtil starten af 2019 har projektet haft fokus på skabelsen af et avanceret it-redskab med videnskabeligt validerede skalaer. Den fase, som vi nu har taget hul på, skal der være fokus på hvordan systemet kan anvendes til gavn for lærerne, undervisningen og dermed elevernes læring indefor både kognitive og ikke-kognitive områder.

Sikkerhed, rettigheder og anvendelse af oplysningerne

Adgangen til systemet er reguleret ved UNI-login (der reguleres af Undervisningsministeriet). Elevernes individuelle resultater kan kun bliver set af de af lærerne på skolen som skolelederen giver adgang (fx elevens egne lærere). Yderligere er det meningen at resultaterne skal kunne anvendes til forskning. Alle der skal have adgang skal være sikkerhedsgodkendt hertil af Epinion (it-leverandøren).

Det er kommunerne, der er ejer af disse data, hvor NordicMetrics/Epinion foretager databehandlingen. Hovedformålet er som nævnt at give læreren informationer, der kan berige det pædagogiske tilbud. Men samtidigt vil de indsamlede data komme til at udgøre en helt unik vidensbase om elevernes holdninger og vurderinger, som vil kunne levere et uvurderligt bidrag til international forskning i skolers effekt og elevers udvikling. Det er hensigten at gennemføre forskning (i samarbejde med bl.a. forskere fra Aarhus og Københavns universitet) på grundlag af disse data. Det sikres at alle nødvendige tilladelser bliver indhentet (herunder fra brugere, datatilsynet, kommunerne og undervisningsministeriet, jf bl.a. EU’s dataforordning) om både den pædagogiske anvendelse på skolerne og brugen af informationer fra UiL’s databank til ny forskning om danske elevers non-kognitive færdigheder og udviklingen heri. De forskere der kommer til at arbejde med disse data vil være godkendt hertil.

Skulle der være forældre, der ønsker at deres børn ikke deltager i undersøgelser med UiL, meddeles dette til skolens ledelse. Skolelederen kan i systemet undtage disse børn, så der hverken kan gennemføres dataindsamling eller vises resultater for disse elever. Skolen kan til enhver tid kan sørge for, at alle personhenførbare oplysninger i datamaterialet om det enkelte barn vil blive slettet.

Skolen bør advisere forældrene om, at deres barn deltager i UiL-undersøgelsen og forklare om muligheder for at undtage deres barn og få slettet data. Et eksempel på et kommunalt informationsbrev kan hentes her.

Hvordan adskiller UiL sig fra andre vurderinger af personlige og sociale færdigheder?

Når man skal undersøge fx. “Samarbejdsevne” i en dansk kontekst er det imidlertid mest almindeligt, at man simpelthen spørger eleven om “hvor god er du til at samarbejde” (fx på en skala fra 1-5). Det betyder at elevens vurdering kan variere betydeligt fra dag til dag (fx afhængigt af konkrete oplevelser), og at to elevers svar ikke altid kan sammenlignes, fordi de kan forstå noget forskelligt ved det noget abstrakte begreb “samarbejde”.

Forskellen på den måde, der arbejdes med skalaerne på i UiL og i de fleste andre danske sammenhænge er, at UiL-skalaerne er skabt på baggrund af videnskabeligt funderede skalaer og international forskning i psykologi og er valideret med psykometriske metoder. Vi beregner til sammenligning “samarbejdsevne” (cooperation) med følgende metode:

• Eleven præsentere eleven for en række udsagn (fx ”Jeg er altid åben og ærlig over for andre” og ”Jeg er altid med til at skabe enighed og gode løsninger for gruppen”) som eleven kan erklære sig mere elle mindre enige i, og som eleven kan forholde sig mere præcist og reliabelt til (fx ved at svare det samme i dag og i morgen på det samme spørgsmål, uanset aktuel dagsform).
• Spørgsmålene er formuleret med inspiration i anerkendt international forskning (fsva samarbejdsevne fx Orchard, C. A., King, G. A., Khalili, H., & Bezzina, M. B. (2012). Assessment of Interprofessional Team Collaboration Scale – AITCS: Development and testing of the instrument. Journal of Continuing Education in the Health Professions).
• Skalaen er kulturelt tilpasset danske forhold, afprøvet på godt 2.000 elever fra 4.-9. klasse og herefter tilpasset det som afprøvningens data peger på og derefter genafprøvet. Der er gennemført tre afprøvninger af alle items.
• Herefter bliver skalascorer beregnet ved brug af moderne psykometriske metoder. Det betyder at resultaterne bliver sammenlignelige, dels mellem elever og dels over tid – man kan altså følge udviklingen i samarbejdsfærdigheder, baseret på elevens egne svar.

Det har været vigtigt, at formulere spørgsmålene, så svarene kan diskuteres mellem elev og læreren. På den måde blive UiL lige så meget et pædagogisk redskab til dialog som et avanceret måleinstrument. Det betyder også at de klassiske problemer med selvrapportering (der i forskningssammenhæng vurderes som metodens achilleshæl) til dels elimineres. Intentionen er at eleven ved brug af UiL trænes i at vurdere sig selv, præstere retvisende svar og også hermed får et mere realistisk og velformuleret selvbillede.

Forskning om livfærdigheders rolle i uddannelse

I Danmark har der (bl.a. via folkeskolens dobbelte formål siden 1814) altid været fokus på disse færdigheder (som folkeskolens formålsparagraf handler om), og dette fokus er nu ved at få en betydelig internationale udbredelsen under en række forskellige betegnelser (fx. 21’st century skills eller  fremtidens kompetencer).

Således er der også i den engelsktalende del af verden har stor opmærksomhed om betydningen af elevers udvikling af non-kognitiver færdigheder, ikke mindst takket være den formidling som den amerikanske forsker James Heckmann (økonom og statistiker fra Chicago, tidligere modtager af Nobelprisen) har været en af hoveddrivkræfterne af. En af de fremtrædende unge forskere på feltet er Angela Duckworth, professor på Pennsylvania Universitet. Hun har især arbejdet med vedholdenhed (”Grit”), som er en af de livsfærdigheder, der fokuseres på i UiL. Her er en Ted-talk og en artikel om hendes arbejde.

En række forskere tilknyttet udviklingsarbejdet med UiL-skalaer og deres validering har analyseret resultaterne fra afprøvningen og skrevet en artikel herom. Denne er pt er under review med henblik på trykning i et internationalt peer-review’ed tidskrift, læs Development and Validation of UiL.