Automatische Textkorrektur

18. Juni 2008

Der Hueberverlag hat soeben eine CD-Rom mit dem Titel Elektronisches Prüfungstraining B1 auf den Markt gebracht. Das Sprachenzentrum, an dem ich arbeite, bietet keine Zertifikatsprüfungen an und bereitet auch nicht auf solche vor. Dass ich die CD-Rom angeschafft habe, lag hauptsächlich an der Ankündigung, dass mit der CD-Rom auch die automatische Korrektur des Prüfungsteils schreiben möglich sei. Für mich als Computerlinguistin war das natürlich eine sehr interessante Meldung (auch wenn ich im Moment mit dem Fach nicht mehr sehr viel zu tun habe), denn im Bereich automatische Textkorrektur gibt es vermutlich mehr gescheiterte Projekte als gelungene (naja, auf jeden Fall gibt es viele eingeschlafene Projekte).

Evelyn Frei beschreibt im Artikel Prüfungstraining am Computer (pdf) genauer, wie die Textkorrekturkomponente entwickelt wurde.

Ich habe mir aus dem Artikel diejenigen Punkte herausgeschrieben, die mir am interessantesten schienen:

  • Aus den Korrekturen menschlicher Korrektoren liess sich kein Eichmassstab für das Programm entwickeln. Die Korrekturen waren zu inkonsistent. (S.3)
  • Grammatische Korrektheit (zum Beispiel Kongruenz in Nominalphrasen wie “einen schönen Tag” wird mit Hilfe einer Datenbank überprüft, die Angaben zur Worthäufigkeit und vermutlich auch Angaben dazu enthält, welche Wörter in welchen Kontexten vorkommen. Dadurch, dass Dupel und Tripel gleichzeitig überprüft werden, können Nominalphrasen wie “der schönen Tag” als falsch erkannt werden (S. 3f.)
  • Auch für die inhaltliche Bewertung wird mit einem Korpus aus Phrasen gearbeitet, die zur Erfüllung der Aufgabenstellung obligatorisch vorkommen müssen. (S.4)
  • Damit eine Bewertung überhaupt sinnvoll ist, braucht es eine Mindestanzahl von Wörtern (4o als Untergrenze).
  • Für die Bewertung der Morphologie arbeitet das Programm sowohl mit einer Liste deutscher Wortformen, als auch mit einer “Basis an Grundvokabular, aus dem mögliche Wortformen erzeugt werden” (S. 4). Zumindest einige Regeln scheinen auf dieser Ebene also vorhanden zu sein.
  • Rückschlüsse auf das Sprachniveau lassen sich im Bereich Wortschatz schliessen indem man
    • Die Lemmata mit Frequenztabelle abgleicht, wodurch ermittelt werden kann, ob der Prüfling mehr als nur die einfachsten Wortformen verwendet.
    • Die Wiederholrate eines Wortes berücksichtigt (Wie oft kommt dasselbe Wort (evtl. in unterschiedlichen Formen) vor).
    • Die Komplexität eines Wortes (scheint mehr oder weniger die Länge zu sein) ermittelt.

    (S. 4)

  • Das Programm verwendet keinen Parser (S. 5 oben; ein Parser ist vereinfacht gesagt ein Programm, dass die Syntax eines Satzes ermittelt). Stattdessen wird die syntaktische Komplexität anhand der Häufigkeit und Varianz der Subjunktionen (= unterordnende Konjunktionen wie dass oder obwohl) ermittelt.
  • Duppel und Trippel werden auch für andere Bereiche (Kollokation, Gliederung, Kohäsion) eingesetzt. (s. 5)
  • Im Endprodukt wird eine Kombination aus einigen der beschriebenen Parameter verwendet, die untereinander gewichtet werden.

Beim Testen des Programmes war ich mit dem Ergebnis zufrieden. Die Rückmeldung erfolgt innert Sekunden (So schnell, dass ich es zuerst gar nicht gemerkt habe). Unser Testtext bekam knapp die Hälfte von 45 Punkten und dieses Ergebnis schien mir intuitiv und als Globalbewertung angemessen (Die Korrekturkriterien der menschlichen Prüfer des ZD sind mir allerdings nicht geläufig). Leider gibt das Programm über die Punktzahl hinaus keinerlei Rückmeldungen. Für eine Prüfungskorrektur finde ich das ausreichend, bei einem Trainingsprogramm aber eher unbefriedigend, denn schliesslich heisst Trainieren ja auch, dass man Schwächen erkennt und gezielt daran arbeitet.

Fazit: Das Programm scheint sich stark aus eine Mischung von Korpusdaten und Häufigkeitswerten zu stützen, wobei nicht ganz klar ist, wie diese Daten gesammelt werden. Für die Morphologie verwendet das Programm neben Listen auch einige einfache Regeln. Die Bewertung des Inhaltes ist möglich, weil der Inhalt durch die Aufgabenstellung relativ (Beispiel siehe Seite 2) stark vorgegeben ist.

Das Paper hat mich eher neugieriger gemacht, als ich nach dem einmaligen Ausprobieren eh schon war – ich hätte Lust das Programm ausführlicher zu testen, nur leider kostet jede Textkorrektur.

Soweit also meine Interpretation des Papers. Falls jemand mehr Infos hat, ich bin interessiert :-)

Post to Twitter Post to Delicious Post to Facebook

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (Bisher keine Bewertungen)
Laden ... Laden ...

Abgelegt unter: E-Learning / neue Medien,Fachliteratur,Forschung,Forschung / Theorie / Didaktik,Für Lehrende,Schreiben,Theorie

Schlagwörter:

Kommentar schreiben

(erforderlich)

(erforderlich), (Versteckt)

XHTML: Du kannst diese Tags verwenden: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

URL für Trackbacking  |  RSS -feed für Kommentare zu diesem Beitrag.


Linktipp

SPRACHLICH: Dies, DaF, ecetera.
Für Lernende (Aussprache, Grammatik, Hörverstehen und mehr) und Lehrende.

Kategorien

Neueste Kommentare

Blogs: DaF

Blogs: Lernende

Blogs: Sprache und (Online-)Lernen

DaF extern

 

Juni 2008
M D M D F S S
« Mai   Jul »
 1
2345678
9101112131415
16171819202122
23242526272829
30  

Meta

Stichwortsuche


  • (Spiel-)Vorlage (20)
  • A1 (150)
  • A2 (227)
  • Abzählverse (1)
  • Adjektive (1)
  • Advent (2)
  • Adventskalender (3)
  • akademisch (15)
  • ALSIC (1)
  • anfänger (5)
  • Anleitung (3)
  • Anleitungen (3)
  • App (5)
  • Arbeitsblatt (47)
  • Audacity (4)
  • Audio (55)
  • audio-lingua (4)
  • Audioforum (2)
  • ausdio (1)
  • Ausspracheregeln (12)
  • Ausspracheübung (29)
  • Aussprachewörterbuch (4)
  • authentisch (9)
  • authentische Texte (16)
  • automatisierung (5)
  • autonomes Lernen (31)
  • Autorensoftware (10)
  • B1 (281)
  • B2 (256)
  • Babylonia (1)
  • Beamer (1)
  • Beruf (1)
  • Berufe (2)
  • Bewegung (1)
  • Bewerbung (1)
  • bewerten (1)
  • Bilder (7)
  • bildwörterbuch (1)
  • blix (2)
  • blogs (4)
  • Bräuche (3)
  • Businessdeutsch (1)
  • CC (12)
  • Computerlinguistik (1)
  • Creative Commons (23)
  • DACH(L) (13)
  • daf-blogosphäre (5)
  • dafwebkon (4)
  • DDR (2)
  • dekodieren (2)
  • Deskriptoren (1)
  • deutsche Welle (10)
  • Deutschland (4)
  • Dialekt (9)
  • Dialoge (3)
  • DICE (1)
  • Didaktik (5)
  • digitalisieren (1)
  • Diktat (8)
  • Diskussion (4)
  • diskutieren (7)
  • Durchsage (1)
  • dwds (2)
  • Einsatz von E-Learning (40)
  • Energie (3)
  • Englisch (3)
  • englischer Beitrag (14)
  • Essen (11)
  • Etymologie (1)
  • Fachsprache (5)
  • Fachwortschatz (2)
  • feedback (1)
  • Feiertage (5)
  • Flash (2)
  • Flüssigkeit (2)
  • Fragesätze (1)
  • Frauenstimmrecht (1)
  • Freizeit (2)
  • Fremdwörter (2)
  • Fugen-Element (2)
  • Fussball (1)
  • Gastbeiträge (1)
  • Gedächtnistraining (1)
  • Gedicht (1)
  • Genitiv (1)
  • GER (2)
  • Geschichte (7)
  • Gesellschaft (1)
  • gesprochene Sprache (1)
  • gesundheit (1)
  • GFL (1)
  • google (2)
  • Grammatik (4)
  • gruppenarbeit (12)
  • Handy (5)
  • Heidi (2)
  • Hilfsmittel (2)
  • Hirschfeld (1)
  • Hören und Sehen (41)
  • Hörsehverstehen (6)
  • Hörübung (20)
  • Hörverstehen (7)
  • Hotpotatoes (8)
  • html (1)
  • Humor (2)
  • IDT (22)
  • imperativ (2)
  • improvisieren (2)
  • IMS (1)
  • Info-DaF (1)
  • Interaktiv (10)
  • interkulturell (6)
  • Interview (6)
  • Intonation (4)
  • IPA (5)
  • Karten (3)
  • kollaborativ (2)
  • Kollokation (2)
  • Kölsch (1)
  • Kommunikation (3)
  • Komposita (7)
  • kontrastiv (2)
  • Korpora (2)
  • Kreuzworträtsel (2)
  • Krimi (3)
  • Kriterien (1)
  • Kurzfilm (2)
  • Kurzfilme (3)
  • Landessprachen (1)
  • learning-apps (3)
  • Lehrerrolle (2)
  • Lehrmittel (2)
  • lernerzentriert (31)
  • Lernplattform (6)
  • Lerntipps (30)
  • Lesen (1)
  • Lieder (2)
  • Literatur (2)
  • LL&T (2)
  • LMS (3)
  • lückenfüller (1)
  • Lückentexte (5)
  • Makros (1)
  • Männer und Frauen (2)
  • Mauer (1)
  • Medien (1)
  • mehrsprachig (35)
  • Methode (2)
  • Methodik (2)
  • Methodik A2 (1)
  • mitlesen (1)
  • mitmachen (7)
  • mitsprechen (1)
  • mobiles Lernen (1)
  • Modalverben (3)
  • Multimediaintegration (1)
  • Multiple Choice (2)
  • Musik (1)
  • Musikvideo (8)
  • Nachrichten (3)
  • Nationalität (1)
  • nievau c (1)
  • Niveau C (200)
  • Niveau C1 (1)
  • ohne Vorkenntnisse (1)
  • ohne Login (6)
  • ohne Vorbereitung (2)
  • Open Office (1)
  • open source (2)
  • österreichisches Deutsch (5)
  • Partnerarbeit (13)
  • Passiv (1)
  • Pausierung (3)
  • Phonem-Graphem (17)
  • phonematisches Hören (9)
  • Phonetik (2)
  • phonologische Form (1)
  • plattformübergreifend (1)
  • Podcast (11)
  • Poesie (2)
  • Politik (5)
  • Portfolio (1)
  • präpositionen (1)
  • Präteritum (2)
  • Programme für E-Learning (49)
  • Projekt (14)
  • Projekte (1)
  • Projektorganisation (3)
  • Quiz (4)
  • Radio (1)
  • Radko (1)
  • Ratgeber (1)
  • Rechtschreibung (13)
  • Redemittel (3)
  • Reflexion (2)
  • Reisen (2)
  • Relativätze (1)
  • Ressourcen für E-Learning (39)
  • Rezension (16)
  • Rhythmus (4)
  • Rollenspiel (2)
  • Roman (2)
  • Satzakzent (1)
  • schnell (1)
  • Schweizer Hochdeutsch (31)
  • Schweizerisch (1)
  • Schweizerisches (87)
  • Schwyzerdütsch (10)
  • SCORM (1)
  • sehen (1)
  • selbeermachen (1)
  • selbermachen (19)
  • selektiv lesen (1)
  • selektives Hören (4)
  • selektives Lesen (1)
  • Silbe (8)
  • Skype (1)
  • Slideshare (4)
  • sms (1)
  • Spielfilm (4)
  • spielform (15)
  • sport (1)
  • Sprachbetrachtung (2)
  • Sprache (8)
  • Sprachkurs (2)
  • Sprachlerncommmunity (4)
  • Sprachlerncommunity (1)
  • Sprechaufgaben (2)
  • Sprechaufträge (2)
  • Sprechübung (3)
  • Stadtführung (2)
  • Standardsprache (6)
  • Statistik (8)
  • Statistiken (1)
  • Strategien (5)
  • Studium (1)
  • Südtirol (2)
  • Syntax (8)
  • Szeneprotokoll (1)
  • Tags (1)
  • Tandem (1)
  • Tandemlernen (7)
  • Tanskription (1)
  • technische Tipps (15)
  • Templates (1)
  • Test (2)
  • Text (1)
  • text-to-speech (1)
  • Textrekonstruktion (9)
  • Textsorte (1)
  • Theater (1)
  • Tourismus (5)
  • Traditionen (6)
  • Transkirpte (1)
  • Transkription (9)
  • übersetzen (1)
  • Übungsgenerator (4)
  • Umfrage (8)
  • Unterichtsidee (1)
  • Unterrichtsidee (3)
  • Untertitel (3)
  • Urheberrecht (2)
  • Varietäten (33)
  • VBZ (1)
  • Veranstaltungen (1)
  • verben (6)
  • Verkehr (2)
  • Verständlichkeit (1)
  • Video (122)
  • Videos (1)
  • Voice Thread (2)
  • Vokale (4)
  • Vorentlastung (2)
  • Vorlesen (3)
  • Vortrag (6)
  • Wechselspiele (3)
  • Wegbeschreibung (2)
  • Weihnachten (14)
  • Weiterbildung (3)
  • Werbung (6)
  • Wettbewerb (2)
  • wetter (1)
  • Whiteboard (2)
  • Wiki (2)
  • Wissenschaft (5)
  • wohnen (2)
  • Word (4)
  • wordpress (5)
  • Wortakzent (18)
  • Wortbildung (13)
  • Wörterbuch (3)
  • Wörterbuchbenutzung (3)
  • Wörterbücher (16)
  • Wortgruppenakzent (2)
  • Wortlisten (1)
  • Wortschatz (4)
  • Wortschatzliste (1)
  • Wortsuche (2)
  • Zahlen (2)
  • Zeit (1)
  • Zeitschrift (7)
  • zeitung (2)
  • ZIF (2)
  • Zungenbrecher (2)
  • Zuordnungsübung (5)
  • Zürich (1)
  • Zusamenfassung (2)