Introduktion till analys på provnivå i Inspera
Denna Quicksight-dashboard är en part av fas 1 i vår strategi för att introducera analys på provnivå för lärosäten inom högre utbildning i Inspera. Ytterligare detaljer om vår strategi och fasindelning beskrivs i följande avsnitt.
Bakgrund
Inspera erbjuder för närvarande avancerad analys exklusivt för kunder i ett annat marknadssegment som använder uppgiftsbanker och Item Response Theory (IRT) via Insperas GIRT-motor (Generalised Item Response Theory). Dessa kunder, främst examinationsorgan, tillhandahåller standardiserade prov i Inspera. Analysen gör det möjligt för dem att utföra detaljerade analyser på uppgiftsnivå, både direkt inom Inspera-plattformen och via vårt Data Discovery-verktyg, vilket erbjuder avancerade filtreringsfunktioner för djupgående datautforskning.
Detta IRT-baserade tillvägagångssätt är dock inte direkt tillämpligt på våra traditionella kunder inom högre utbildning (HE). Vanligtvis använder inte lärosäten inom högre utbildning uppgiftsbanker på samma sätt som examinationsorgan, eftersom de har andra behov gällande innehållsskapande, behörighetskontroll och metadatatjänster (vi arbetar för närvarande med att anpassa uppgiftsbanker i Inspera för att bättre tillgodose dessa behov inom högre utbildning). Vidare tenderar lärosäten att förlita sig på klassisk testteori (CTT) för provanalys eftersom de behöver analysera data på provnivå eller inom ramen för ett enskilt prov, snarare än att ha ett starkt fokus på den individuella uppgiftsnivån. I motsats till detta genererar examinationsorganens bedömningsmodell individuella provversioner för varje provdeltagare, vilket gör analys på provnivå över olika versioner opraktisk. Detta nödvändiggör ett fokus på att analysera individuella uppgifters prestationer över alla provversioner. För att bättre kunna hjälpa våra användare inom högre utbildning utökar vi därför vår analys till att inkludera CTT-baserad provcentrerad analys, vilket innebär att vi rör oss bortom det nuvarande fokuset på enskilda frågor.
Nedan skisserar vi vår färdplan och vårt stegvisa tillvägagångssätt för att bygga upp denna nya kapacitet, där vi på varje stadium integrerar avgörande feedback från kunder för att säkerställa en produkt som uppfyller era behov.
Vision för analys på provnivå i Inspera
Genom genom att bygga vidare på våra befintliga analysfunktioner strävar vi efter att tillhandahålla en liknande heltäckande och integrerad lösning för lärosäten inom högre utbildning. Detta innebär att du kommer att ha tillgång till:
Visualiseringer: Inbäddade direkt i Inspera-plattformen, vilket ger lättillgängliga insikter om provprestationer med hjälp av CTT-baserade mätvärden. Detta kommer att bygga på vårt befintliga verktyg för uppgiftsanalys (Item Review Tool) och göra det möjligt för dig att snabbt identifiera trender, styrkor och svagheter samt potentiella problem som behöver åtgärdas.
API och verktyg för datautforskning: Mest troligt kommer detta att vara en utökning av vårt befintliga API för examinationsorgan (för närvarande IRT-mätvärden) och Data Discovery-verktyg, vilket gör det möjligt för dig att utföra djupgående analyser av data på provnivå. Detta kommer att inkludera avancerade filtreringsfunktioner, så att du kan utforska specifika studentgrupper, frågor eller andra relevanta kriterier.
Detta tillvägagångssätt speglar vårt nuvarande erbjudande för examinationsorgan, vilket säkerställer en konsekvent och användarvänlig upplevelse mellan olika användargrupper. Den viktigaste skillnaden för lärosäten inom högre utbildning kommer att vara fokuset på CTT-baserade mätvärden och visualiseringer skräddarsydda för era specifika behov.
Utrullningsplan
Lanserad:
Fas 1: Quicksight-dashboard (insamling av feedback, tillgång till data och visualisering)
Mål: Att göra det möjligt för HE-kunder att interagera med provdata och för Inspera att samla in nödvändig feedback från HE-användare om vilka grafer för provstatistik som är mest värdefulla.
Implementering: Vi kommer att rulla ut en Quicksight-dashboard som visar olika CTT-baserade visualiseringer. Vi har valt Quicksight för denna fas eftersom det gör att vi snabbt och enkelt kan dela provdata och visualiseringer med er. Det är dock viktigt att notera att Quicksight är en tillfällig lösning och ett prototypverktyg för denna fas av feedbackinsamling. De prioriterade visualiseringerna kommer slutligen att bäddas in direkt i Inspera-plattformen, vilket ger fler användare omedelbar tillgång till kritiska insikter exakt där de behövs i deras arbetsflöden.
Syfte: Detta gör det möjligt för HE-kunder att interagera med data och ge direkt feedback på grafernas användbarhet och design. Denna feedback är avgörande för att ligga till grund för utvecklingen av integrerade grafer och tabelldata inom Inspera-plattformen.
Nästa faser:
Fas 2: API-dataexport (förbättrad datatillgänglighet)
Mål: Att göra det möjligt för HE-kunder att exportera provstatistikdata via ett API.
Implementering: Vi kommer att tillhandahålla ett API för att exportera CTT-baserad data.
Syfte: Detta ger kunderna flexibilitet att analysera data med sina föredragna verktyg och skapa skräddarsydda visualiseringer. Detta underlättar också användardriven utforskning och feedback, vilket gör att kunder kan föreslå förbättringar eller nya grafdesigner för integrering i Inspera.
Fas 3: Integrerad plattformsanalys (insikter som leder till handling och integrering i arbetsflöden)
Mål: Att integrera de förfinade CTT-baserade provstatistikgraferna direkt i Inspera för att leverera insikter som leder till handling inom centrala arbetsflöden.
Implementering: Baserat på den feedback som samlats in i fas 1 och 2 kommer vi att utforska och implementere funktioner som integrerar provstatistik i specifika uppgifter inom Inspera-plattformen. Detta ger användarna insikter som leder till handling exakt när de behövs, till exempel när man sätter betygsgränser eller identifierar icke-fungerande uppgifter före bedömning och betygssättning.
Syfte: Att ge sömlös tillgång till nödvändig provstatistik direkt inom Insperas arbetsflöde, vilket eliminerar behovet av externa dashboards, samt att leverera insikter som leder till handling exakt när de behövs, vilket förbättrar arbetsflödets effektivitet och möjliggör välgrundat beslutsfattande.
Dessa förbättringar kommer att ge lärosäten inom högre utbildning de verktyg och insikter som krävs för att genomföra omfattande provanalyser. Detta kommer att leda till mer effektiva och tillförlitliga bedömningar, vilket säkerställer mer rättvisa och korrekta utvärderingar av studenternas lärande. Lärosäten kommer att kunna identifiera specifika områden där studenter utmärker sig eller har svårigheter, vilket möjliggör datadrivna förbättringar i bedömningarnas utformning. Vidare kommer denna utveckling att lägga en grund för framtida integrering av AI-funktioner, såsom automatiserade psykometriska sammanfattningar och föreslagna åtgärder, vilket ytterligare strömlinjeformar analysen och höjer bedömningarnas kvalitet.