Anleitung Durchfuehrung Online-Prüfung

 

Beratungsgespräch

Die Entscheidung für ein bestimmtes Konzept basiert am besten auf einer Beratung durch verschiedene Fachstellen der ETH (LET und Informatikdienste). Solche Beratungen werden für Dozierende und Assistierende der ETH kostenlos durchgeführt. Kontakt

Folgende Fragen werden in einem Beratungsgespräch geklärt:

Lernziele:

- Welches sind die inhaltlichen Lernziele des Fachs?

Welches sind die kognitiven Lernziele des Fachs?

Zielgruppe:

- Auf welcher Stufe des Studiengangs befinden sich die Studierenden?

- Wieviele Studierende umfasst der Studiengang?

- Sind die Studierenden mit der Arbeit am Computer vertraut?

Prüfung:

- Soll der Test am Computer im Rahmen einer Übung, Semesterendprüfung oder Sessionsprüfung eingesetzt werden?

Weiter wird in einem Beratungsgespräch aufgrund dieser Antworten die passende Prüfungssoftware vorgestellt. Für die Durchführung von Online-Prüfungen werden häufig Lernplattformen eingesetzt. Lernplattformen können nicht nur für die Durchführung eines Tests verwendet werden, sie unterstützen auch die Vor- und Nachbereitung von Prüfungen.
Der Bereich LET unterstützt und betreibt die Lernplattformen ILIAS und Moodle für Dozierende kostenlos.

Welche Lernplattform für eine bestimmte Prüfung geeignet ist, hängt u.a. von den Anforderungen an die Prüfung ab (zum Beispiel erforderliche Fragetypen). Weiter wird berücksichtigt, ob schon eine bestimmte Lernplattform in der Vorlesung eingesetzt wird.
Weitere allgemeine Informationen zu den Lernplattformen Moodle und ILIAS.

Die Entscheidung für eine bestimmte Lernplattform liegt schliesslich beim Dozierenden. Mittels eines Online-Formulars kann ein Kurs beantragt werden.

nach oben

Information der Studierenden und Prüfungsplanstelle

Gemäss der Allgemeinen Verordnung über Leistungskontrollen ist der Examinator verpflichtet, die Studierenden und die Prüfungsplanstelle rechtzeitig über den Modus der Prüfung zu informieren. Als Modus für Online-Prüfungen ist "schriftlich am Computer" anzugeben. Die Information erfolgt über eDoz.

Fragen erfassen / Entwicklung des Inhalts

Die Herstellung der Prüfungsfragen und deren Erfassung in der Lernplattform liegt in der Verantwortung des Examinators. Der Bereich LET bietet aber technische, konzeptionelle sowie didaktische Unterstützung an.

Um den Aufwand zu reduzieren werden die Fragen am besten gleich in der Lernplattform erfasst. Es ist aber auch möglich, diese in einem Textverarbeitungsprogramm bis zur finalen Form zu erstellen und anschliessend in die Lernplattform einzugeben.
Die Importfunktionen sind bei den verschiedenen Lernplattformen unterschiedlich ausgeprägt. Deshalb lohnt es sich, die Importmöglichkeiten vorgängig abzuklären.

Nach der Herstellung der Prüfungsfragen sollte eine inhaltliche und formale Revision erfolgen (insbesondere bei Multiple Choice-Fragen). Die inhaltliche Revision kann durch einen Fachkollegen erfolgen, währenddessen die Überprüfung der Einhaltung der formalen Kriterien durch einen erfahrenen Entwickler von MC-Fragen oder den Bereich LET erfolgen sollte.

Nützliche Links zur Herstellung von Multiple Choice-Fragen gibt es hier.

nach oben

Reservation Raum

Eine Liste der möglichen Räume befindet sich hier.

Bei der Anzahl der zu belegenden Plätze ist zu beachten, dass nicht immer alle Computer genutzt werden können, da sie zum Teil sehr nah beieinander stehen. Ausserdem sollten Reservestationen für den Notfall (falls eine Maschine aussteigt) eingeplant werden.

Beim Bereich LET können sich Examinatoren beraten lassen, welches der geeignete Raum für ihre Prüfung sein könnte. Bei Sessionsprüfungen empfiehlt es sich einen Raumwunsch beim Rektorat (Prüfungsplanstelle) anzugeben.

Durchführung der Prüfung

Die Durchführung einer Prüfung läuft in der Regel folgendermassen ab:

1. Die Kandidaten betreten ca. 15 Minuten vor Beginn der Prüfung den Prüfungssaal und nehmen ihren Sitzplatz ein. Kleider, Gepäck (inkl. Handy) werden an den dafür vorgesehenen Orten deponiert.
2. Auf dem Tisch befinden sich lediglich die Legi und erlaubte Hilfsmittel (Schreibwaren, Bücher, etc) und ev. eine Anleitung für den Test.
3. Zu Beginn trägt die Aufsicht (durch den Examinator zu stellen) die nötigen Instruktionen vor.
4. Beginn der Prüfung (Der Timer startet individuell, sobald der Kandidat seinen Test begonnen hat.)
5. Die Aufsicht führt eine Legi- und Anwesenheitskontrolle durch.
6. Während der gesamten Testdauer ist nebst der Aufsicht mind. eine Person aus dem LET-Support-Team vor Ort; weitere Spezialisten stehen auf Abruf bereit.
7. Der Kandidat beendet den Test und verlässt den Prüfungsraum.

nach oben

Korrektur

Ein grosser Vorteil von Online-Prüfungen ist der reduzierte Aufwand bei der Korrektur.
Automatisch ausgewertet werden alle Fragetypen, deren Antworten sich vordefinieren lassen. Dies sind Multiple/Single Choice Fragen, True/False-Fragen, Zuordnungsfragen, etc. Auch die Fragetypen Kurzantwort und Lückentext lassen sich automatisch auswerten. Wobei die Möglichkeiten der Fehlertoleranz von der eingesetzten Lernplattform abhängen. Bei (auch nur kurzen) Texteingaben empfiehlt es sich, die Falschantworten auf Schreibfehler/Synonyme/Fremdworte zu überprüfen.
Aufsätze müssen manuell korrigiert werden. Der Vorteil besteht jedoch in der guten Lesbarkeit.

Besteht eine Prüfung ausschliesslich aus automatisch korrigierbaren Fragetypen, so liesse sich dem Studierenden unmittelbar die im Test erreichte Punktzahl übermitteln. Dies hat jedoch nur Sinn, wenn die Fragen bereits eingesetzt wurden, sich bewährt haben und die Resultate des Tests verlässlich sind bzw. wenn keine Notenkonferenz vorausgesetzt ist.

Information der Studierenden / Prüfungseinsicht

Die Kommunikation des Prüfungsresultats kann auf unterschiedliche Weise erfolgen :

- die erreichte Punktzahl/Note kann den Studierenden nach Abschluss der Korrektur individuell in der Lernplattform mitgeteilt werden

- die Noten können aus der Lernplattform ins eDoz übertragen werden und von da aus an die Studierenden gebracht werden

- die Resultate können aus der Lernplattform exportiert und ins eDoz importiert werden

Online-Prüfungen
gelten als schriftliche Prüfungen und für die Prüfungseinsicht gilt
die Weisung der Rektorin zur "Akteneinsicht und Aktenweitergabe im
Rahmen von Leistungskontrollen". Zur Weisung

nach oben

Archivierung

Gemäss allgemeiner Verordnung über Leistungskontrollen an der ETHZ müssen schriftliche Leistungskontrollen ab der Verfügung des Ergebnisses zwei Jahre lang aufbewahrt und anschliessend vernichtet werden.

Dabei ist darauf zu achten, dass die Daten für Unbefugte nicht erreichbar und vor Manipulationen geschützt sind. Dies kann zum Beispiel erreicht werden, indem die Daten unter Aufsicht auf zwei einmal
beschreibbare CD-ROMS gebrannt und an getrennten Orten aufbewahrt werden.

Analyse

Unter Analyse versteht man die Untersuchung des Tests und der Fragen auf gewisse Gütekriterien hin. Mittels dieser Kriterien können "gute" von "schlechten" Fragen unterschieden werden und bei entsprechenden Massnahmen die Qualität der Fragen in der Datenbank verbessert werden.

Fragen können auf verschiedene Gütekritierien untersucht werden. In der Regel werden aber mit den folgenden beiden Werten gute Resultate erreicht:

- Schwierigkeitsgrad

- Trennschärfe

Schwierigkeitsgrad

Der Schwierigkeitsgrad wird aus der Anzahl der richtig beantworteten Fragen und der Totalzahl teilnehmender Studierender errechnet. Ganz schwierige (Schwierigkeitskoeffizient >0.9) und ganz einfache Fragen Schwierigkeitskoeffizient<0.1) sollten vermieden werden.

Trennschärfe

Mittels der Trennschärfe kann überprüft werden, ob eine Frage zwischen guten und schlechten Studierenden unterscheidet. Die Trennschärfe basiert auf einem Vergleich zwischen der Leistung eines Studierenden an einer spezifischen Frage mit dessen Leistung über den gesamten Test.

Es sind auf jeden Fall positive Werte anzustreben. Eine Trennschärfe <0 bedeutet, dass die betreffende Frage von den schlechten Studierenden besser beantwortet wurde als von guten. Eine Frage mit Trennschärfe ≅0 verbessert die Aussagekraft einer Prüfung ebenfalls nicht.

Abhängig von der eingesetzten Lernplattform lassen sich diese Parameter mit wenigen Klicks berechnen und ausgeben.

Evaluation

Alle Lernplattformen bieten die Möglichkeit, Umfragen zu erstellen um den Test zu evaluieren.

nach oben