Introduksjon til analyse på prøvenivå i Inspera

Dette QuickSight-dashbordet er en del av fase 1 i vår strategi for å introdusere analyse på prøvenivå for institusjoner innen høyere utdanning i Inspera. Ytterligere detaljer om strategien vår og de ulike fasene er beskrevet i de følgende avsnittene.

Bakgrunn

Inspera tilbyr for øyeblikket avansert analyse utelukkende for kunder i et annet markedssegment som bruker oppgavebanker og artikkelresponsteori (IRT) gjennom Insperas GIRT-motor (Generalised Item Response Theory). Disse kundene, hovedsakelig eksamens- og sertifiseringsorganer, leverer standardiserte prøver i Inspera. Analysen gjør det mulig for dem å utføre detaljerte analyser på oppgavenivå, både direkte i Inspera-plattformen og gjennom vårt Data Discovery-verktøy, som tilbyr avanserte filtreringsmuligheter for dyptgående datautforskning.

Denne IRT-baserte tilnærmingen er imidlertid ikke direkte overførbar til våre tradisjonelle kunder innen høyere utdanning (HE). Vanligvis bruker ikke institusjoner innen høyere utdanning oppgavebanker på samme måte som eksamensorganer, ettersom de har andre behov knyttet til innholdsproduksjon, rettighetsstyring og metadatatjenester (vi jobber for øyeblikket med å tilpasse oppgavebanker i Inspera for bedre å imøtekomme disse kravene). Videre har institusjoner innen høyere utdanning en tendens til å lene seg på klassisk testteori (CTT) for prøveanalyse, fordi de har behov for å analysere data på prøvenivå eller innenfor rammen av en enkelt prøve, snarere enn å ha et sterkt fokus på det individuelle oppgavenivået. I motsetning til dette genererer eksamensorganenes vurderingsmodell individuelle prøveversjoner for hver kandidat, noe som gjør analyse på prøvenivå på tvers av versjoner upraktisk. Dette nødvendiggjør et fokus på å analysere prestasjonen til enkeltspørsmål på tvers av alle prøveversjoner. For å hjelpe våre brukere innen høyere utdanning bedre, utvider vi derfor analysene våre til å inkludere CTT-basert, prøvesentrisk analyse, og beveger oss utover det nåværende fokuset på enkeltspørsmål.

Nedenfor skisserer vi veikartet vårt og den trinnvise tilnærmingen for å bygge denne nye funksjonaliteten, hvor vi på hvert trinn integrerer avgjørende tilbakemeldinger fra kunder for å sikre et produkt som oppfyller deres behov.

Visjon for analyse på prøvenivå i Inspera

Ved å bygge videre på våre eksisterende analysefunksjoner, har vi som mål å tilby en tilsvarende omfattende og integrert løsning for institusjoner innen høyere utdanning. Dette betyr at du vil få tilgang til:

Visualiseringer: Innebygd direkte i Inspera-plattformen, noe som gir lett tilgjengelig innsikt i prøveprestasjoner ved hjelp av CTT-baserte metrikker. Dette vil bygge på vårt eksisterende verktøy for oppgaveevaluering (Item Review Tool) og la deg raskt identifisere trender, sterke og svake områder, samt potensielle problemer som må håndteres.

API og verktøy for datautforskning: Mest sannsynlig vil dette være en utvidelse av vårt eksisterende API for eksamensorganer (for øyeblikket IRT-metrikker) og Data Discovery-verktøyet, slik at du kan utføre dyptgående analyser av data på prøvenivå. Dette vil inkludere avanserte filtreringsmuligheter, slik at du kan utforske spesifikke studentkull, oppgaver eller andre relevante kriterier.

Denne tilnærmingen speiler vårt nåværende tilbud til eksamensorganer, noe som sikrer en konsistent og brukervennlig opplevelse på tvers av ulike brukergrupper. Den viktigste forskjellen for institusjoner innen høyere utdanning vil være fokuset på CTT-baserte metrikker og visualiseringer skreddersydd for deres spesifikke behov.

Utrullingsplan

Lansert:

Fase 1: QuickSight-dashbord (innsamling av tilbakemeldinger, tilgang til data og visualisering)

Mål: Å la HE-kunder samhandle med prøvedata, og for Inspera å samle viktige tilbakemeldinger fra HE-brukere om hvilke grafer for prøvestatistikk som er mest verdifulle.

Implementering: Vi vil rulle ut et QuickSight-dashbord som viser ulike CTT-baserte visualiseringer. Vi han valgt QuickSight for denne fasen fordi det lar oss dele prøvedata og visualiseringer med deg på en rask og enkel måte. Det er imidlertid viktig å merke seg at QuickSight er en midlertidig løsning og et prototypeverktøy for denne fasen med innsamling av tilbakemeldinger. De prioriterte visualiseringene vil til slutt bli bygd direkte inn i Inspera-plattformen, noe som vil gi flere brukere umiddelbar tilgang til kritisk innsikt akkurat der de trenger det i arbeidsprosessene sine.

Formål: Dette gjør det mulig for HE-kunder å samhandle med dataene og gi direkte tilbakemeldinger på grafenes nytteverdi og design. Disse tilbakemeldingene er avgjørende for å forme utviklingen av integrerte grafer og tabelldata i Inspera-plattformen.

Neste faser:

Fase 2: API-dataeksport (forbedret datatilgjengelighet)

Mål: Å gjøre det mulig for HE-kunder å eksportere prøvestatistikkdata via et API.

Implementering: We vil tilby et API for eksport av CTT-baserte data.

Formål: Dette gir kundene fleksibilitet til å analysere dataene med sine foretrukne verktøy og lage skreddersydde visualiseringer. Dette legger også til rette for brukerdrevet utforskning og tilbakemelding, slik at kunder kan foreslå forbedringer eller nye grafdesign for integrering i Inspera.

Fase 3: Integrert plattformanalyse (handlingsbar innsikt og integrasjon i arbeidsprosesser)

Mål: Å integrere de raffinerte, CTT-baserte prøvestatistikkgrafene direkte i Inspera for å levere handlingsbar innsikt i sentrale arbeidsprosesser.

Implementering: Basert på tilbakemeldingene som samles inn i fase 1 og 2, vil vi utforske og implementere funksjoner som integrerer prøvestatistikk i spesifikke oppgaver i Inspera-plattformen. Dette vil gi brukerne handlingsbar innsikt akkurat når de trenger det, for eksempel ved fastsetting av karaktergrenser eller identifisering av mangelfulle oppgaver før sensur og karaktersetting.

Formål: Å gi sømløs tilgang til viktige prøvestatistikker direkte i Insperas arbeidsprosess, slik at man slipper eksterne dashbord, samt å levere handlingsbar innsikt akkurat når det trengs, noe som øker effektiviteten i arbeidsprosessen og muliggjør informerte beslutninger.

Disse forbedringene vil gi institusjoner innen høyere utdanning verktøyene og innsikten som kreves for å gjennomføre omfattende prøveanalyser. Dette vil føre til mer effektive og pålitelige vurderinger, noe som sikrer en mer rettferdig og nøyaktig evaluering av studentenes læring. Institusjoner vil være i stand til å identifisere spesifikke områder der studentene utmerker seg eller sliter, noe som muliggjør datadrevne forbedringer i utformingen av vurderinger. Videre vil denne utviklingen legge et fundament for fremtidig integrering av AI-funksjonalitet, som for eksempel automatiserte psykometriske sammendrag og foreslåtte handlinger, noe som vil strømlinjeforme analysen ytterligere og øke kvaliteten på vurderingene.