Datadrevet udvikling af undervisning?

 

 

Siden 2016 har vi på Aarhus BSS haft fælles evalueringsordning vedrørende undervisnings- og vejledningsforløb på fakultetet. Den fælles dataindsamling og den fælles evalueringsdatabase giver den enkelte underviser og studienævnene helt nye muligheder for:

  • at sammenligne evalueringsdata på tværs
  • at følge udviklingen over tid
  • at koble evalueringsdata til oplysninger fra det studieadministrative system om f.eks. de studerendes karakterniveau, karakter i pågældende fag, studieretning, nationalitet, køn m.v.

Seneste inspirationsdag om undervisning på Aarhus BSS havde netop Evaluering som udviklingsværktøj som tema, og hovedspørgsmålet var ”Hvordan udnyttes kursusevalueringerne og evalueringsdata optimalt til udvikling af undervisning på Aarhus BSS?”.

Den fælles evalueringsordning på Aarhus BSS betyder, at der hvert semester evalueres ca. 430 kurser, udsendes ca. 27.000 invitationer til studerende om at evaluere og fremsendes ca. 1.200 individuelle rapporter med grafik, tabeller og tekstkommentarer til de enkelte undervisere. Endvidere udarbejdes aggregerede rapporter med nøgletal for de enkelte uddannelser til studienævnene på Aarhus BSS og endelig rekvirerer studieledere, studienævn og undervisere en række særlige analyser vedrørende deres undervisningsforløb og studieprogrammer

Rapporter og analyser danner allerede nu grundlag for udvikling af undervisningen på Aarhus BSS.

Rapporter

En række undervisere på Aarhus BSS, som underviser samme kursus over flere semestre, har justeret og re-designet deres kursus, og har ved sammenligning af evalueringsrapporterne for de enkelt semestre kunnet dokumentere, at justeringerne har resulteret i at (markant) flere studerende har:

  • arbejdet flere timer med stoffet
  • oplevet højt udbytte af kurserne
  • oplevet en klarere forventningsafstemning, mere feedback, bedre struktur, højere motivation og bedre formidling – og nogle gange ændringer på alle parametre -  hvilket alt andet lige indikerer højere kvalitet i undervisningsforløbet.

En del undervisere har også i forbindelse med justeringer af egne kurser indsat egne evalueringsspørgsmål, så de over tid mere detaljeret har kunnet vurdere effekten af forskellige tiltag – f.eks. brugen af teknologi i undervisning.

Underviserne finder det både meget nyttigt og meget motiverende med evalueringsinstrumentet at kunne dokumentere effekten af ændringer på en række relevante indikatorer for kvalitet i undervisning.

Aggregerede rapporter

Inspirationsdagen gav endvidere eksempler på, hvordan studieledere og studienævn på forskellig vis nu systematisk anvender nøgletal fra kursusevalueringen som grundlag for både dialogen med underviserne, drøftelserne af undervisningen i studienævnene og til sikringen af, at Aarhus BSS lever op til de kvalitetskrav som AU har forpligtet sig på i institutionsakkrediteringsprocessen, herunder at alle undervisningsforløb scorer over gennemsnitsværdien 3,8 (’grønt’) på spørgsmålet om, hvordan de studerende oplever det overordnede udbytte af undervisningsforløbet.

Særlige analyser

Den fælles dataindsamling og fælles database på fakultetsniveau giver imidlertid nu for første gang også mulighed for på et statistisk/empirisk grundlag at analysere bl.a. (i) kvaliteten i evalueringsdataene, (ii) faktorer, der indvirker på oplevet udbytte, (iii) sammenhænge mellem oplevet udbytte af undervisning og eksamensresultater.

I det følgende nogle få eksempler på analyser af interesse for undervisere og studieledere:

  • Hvad forklarer de store forskelle i svarprocent mellem de forskellige studienævn? Svarprocenterne varierer mellem 20 og 65 procent. Foreløbige statistiske analyser peger på, at den mest afgørende faktor for høj svarprocent er, hvorvidt der afsættes tid i timerne til at besvare skemaer.
  • Er det kun de mest kritiske studerende, der besvarer evalueringsskemaer? Foreløbige statistiske analyser tyder på, at dette er usandsynligt – kritiske og positive studerende tenderer i lige høj grad til at svare.
  • Hvilke faktorer er af størst betydning for de studerendes oplevede udbytte af undervisningen? Foreløbige statistiske analyser peger på følgende faktorer som de vigtigste: at kurset inspirerer til at arbejde med stoffet, god formidling, klar forventningsafstemning, forståelig strukturering af stof og aktiviteter, mulighed for at afprøve egen forståelse af stoffet
  • Er det nemmere at opnå gode evalueringer i undervisningsforløb på små hold? De foreløbige statistiske analyser siger ja. Men forelæsningsforløb med flere hundrede studerende med supplerende instruktorundervisning klarer sig næsten lige så godt. Vanskeligste undervisningsopgave er tilsyneladende på hold med 30-100 studerende.
  • Er det sværere at opnå gode evalueringer i metode-, statistik- og matematikfag? Foreløbige analyser viser nej - der er BA-uddannelser, hvor metodefagene scorer højere evalueringer end de øvrige fag.

På inspirationsdagen samlede den største interesse sig om en række sammenhænge mellem karakterniveau, evaluering af undervisning og de studerendes arbejdsindsats, herunder:

  • Baseret på det hidtidige opnåede karaktergennemsnit på studiet, er det så de dygtige eller de mindre dygtige studerende der evaluerer kurset godt (set fra underviserens vinkel: Hvem underviser jeg for/ønsker jeg at undervise for, - de dygtige, de svage eller dem i midten). Statistiske analyser på vej.
  • Resulterer generelt højt evaluerede kurser i et generelt højt karakterniveau? Kan man forvente en sådan sammenhæng? Kan det ’betale sig’ at investere i god undervisning? Statistiske analyser på vej.
  • Er det generelt de arbejdsomme studerende, der evaluerer kurser højt? Analyser på vej.
  • Er det de arbejdsomme studerende, der får de høje karakterer? Analyser på vej.

Alt i alt er der åbnet nye muligheder for, at undervisere og studieledere kan omformulere en række formodninger vedrørende sammenhænge og ’hvad der virker’ til hypoteser og få nogle af dem testet på et statistisk/empirisk materiale.

Institutionel tilgang

Inspirationsdagen viste, at Aarhus BSS er kommet langt med hensyn til at skaffe sig et enestående interessant datagrundlag til analyse og udvikling af undervisning i form af fælles evalueringsdata som kan beriges med data fra det studieadministrative system.

Der er er også stor nysgerrighed blandt undervisere og undervisningsansvarlige for den type analyser. Der er grund til at tro, at denne interesse bl.a. har rod i de videnskabelige traditioner på Aarhus BSS, så vi har måske også både særlige forudsætninger og et særligt ansvar for at afprøve potentialet i datadrevet udvikling.

Endvidere viste dagen, at der er stor interesse for data, der viser udvikling over tid. I mange sammenhænge opleves tidsseriedata som mere interessante for udviklingsarbejde end benchmarking på tværs.

Endelig viste inspirationsdagen også, at Aarhus BSS er langt med hensyn til at ’aligne’ forskellige institutionelle tiltag: evalueringsordningen føder ind i kvalitetspolitikken og kvalitetsarbejdet i studienævnene; evalueringsresultaterne anvendes og synliggøres i undervisningsportefolierne; kursusevalueringer indgår rutinemæssigt i de universitetspædagogiske kurser.

Udvikling af undervisningen på Aarhus BSS vil også fremover i høj grad basere sig på erfarne underviseres observationer, erfaringer, udveksling af erfaringer med kollegaer. Men datadrevet udvikling kan tilføjes paletten, og potentialet er stort.

Kontakt

Torben K. Jensen

Centerleder
M
H bygn. 1323, 324
P +4587165351