Was die Versuche über Suche und Antwort zeigen
Das Team verglich die FIDIC-Vorlage mit den darauf aufbauenden omanischen Standardvertragsbedingungen von 2019. Vier Verfahren bearbeiteten jeweils 320 Testanfragen. Automatische Bewertungsverfahren untersuchten, wie vollständig die benötigten Informationen gefunden wurden und wie eng sich die Antworten an diese Grundlagen hielten.
Beide verglichenen RAG-Systeme kombinierten die Suche nach passenden Wörtern mit einer Suche nach ähnlicher Bedeutung. Sie unterschieden sich in der Aufbereitung des Wissens: Das einfache System suchte in Dokumentabschnitten ohne die fachliche Zuordnung zu Vertragsklauseln; das vorgeschlagene System nutzte die nach Klauseln geordnete Wissensbasis.
Der Vollständigkeitswert reicht von 0 bis 1; bei 1 wurden alle benötigten Informationen gefunden. Er lag beim einfachen RAG-System bei 0,635 und beim vorgeschlagenen System bei 0,969. Auch die Übereinstimmung der Antworten mit dem gefundenen Kontext verbesserte sich.
Die Fehleranalyse zeigt, dass gefundene Inhalte beim Formulieren wichtige Einzelheiten verlieren können. So wurde aus einem konkret festgelegten täglichen Satz mit einer Höchstgrenze ein allgemeiner Hinweis auf Zahlungen wegen Verzögerungen. Andere Antworten ließen Voraussetzungen oder die Abfolge vertraglicher Schritte aus. Gerade diese Angaben bestimmen, wie eine Klausel im konkreten Fall zu verstehen ist.
Ein Team könnte den Ansatz nutzen, um Änderungen gegenüber einer vertrauten Vertragsvorlage zusammen mit den zugehörigen Erläuterungen zu sichten. Dafür muss es die Wissensbasis mit Vertragswissen aufbauen und die verwendeten Fassungen pflegen. Für die anschließende Auslegung kommt es darauf an, dass Bedingungen, Beträge und Verfahrensschritte in ihrem Zusammenhang erhalten bleiben.