DISPLAY Workshop Why is language so f***ing hard?

Themen

• Wozu brauche wir ein Verständnis von Linguistik, um Fragen für Botchen zu generieren?
• „Named Entity Recognition“ (NER): die Aufgabe, Namen in einem Satz zu identifizieren, darunter Personen, Orte, Organisationen, Kunstwerke usw.;
• „Coreference Resolution“: die Aufgabe, ein Pronomen mit seinem Referenten in Verbindung zu bringen (bezieht sich „its“ im obigen Satz auf „Hessen“ oder „Frankfurt“?)
• „Parsing“: die Aufgabe, eine syntaktische Darstellung eines Satzes in einer bestimmten Sprache zu erstellen.

Um was geht es?
Das Problem ist, dass die bekannten KI-Modelle den Eindruck vermitteln, als ließen sich Sprachgenerierung und Sprachverständnis vollständig mit technischen Methoden lösen. LLMs lernen jedoch durch Nachahmung! Sie sind lediglich in der Lage, die Eingaben, die sie von Menschen erhalten, zu reproduzieren, zu transformieren und neu zu kombinieren, aber scheitern, wenn etwas neues generieren sollen. Ein Problem beim Training von Chatbots
ist, dass die überwiegende Mehrheit der Texte im Internet monologischer Natur ist. Werden solche Inhalte direkt in ein Sprachmodell eingespeist, führt das nicht dazu, dass das System lernt, wie man sich unterhält. Um dem Chatbot zu zeigen, wie eine Unterhaltung aussieht, müssen Menschen geeignete Beispiele generieren, die dem Modell zugeführt werden, oder es müssen automatische Systeme entwickelt werden, um entsprechende Daten
zu generieren.

In diesem zweiten Workshop konzentrieren wir uns auf die Frage der automatischen Generierung von Frage- Antwort-Paaren aus monologischen Texten, mit dem Ziel, die Ergebnisse dem display-Chatbot zuzuführen. Das bedeuten, dass wir viel mehr Daten für unseren kleinen Bot produzieren können. Dazu können auch lokales Wissen und Informationen Inhalte gehören, die von der display-Community erstellt wurden, sowie frei verfügbare open Data.