Innovation Scout · Quellenprofil
Eine Studie vergleicht, welche Ansichten von PDF-Plänen Sprachmodelle für eine Prüfung erhalten. Kleine Details und Vergleiche über mehrere Blätter benötigen unterschiedliche Bildinformationen.
Ein Detailverweis ist nur brauchbar, wenn das Zielblatt und die passende Ansicht existieren. Bei einer Produktfreigabe müssen Angaben aus der eingereichten Unterlage mit der Leistungsbeschreibung übereinstimmen. Rashid Mushkani, Hugo Bérard und Shin Koseki untersuchen, wie ein KI-System solche Beziehungen zwischen Baudokumenten prüfen kann.
Ihr Konzept trennt das Herauslesen der Angaben von der Entscheidung anhand einer Regel. Die KI liefert die benötigten Informationen. Eine festgelegte Logik unterscheidet anschließend zwischen erfüllt, nicht erfüllt, fehlenden Angaben und unklarem Ergebnis. Für den experimentellen Teil betrachtete das Team einen Baustein dieses Konzepts: Welche Bildansichten benötigen Sprachmodelle, die neben Text auch Bilder auswerten können?
Die Systeme erhielten jeweils höchstens vier Bilder. In einer Variante waren das Übersichten mehrerer gefundener Seiten. Die andere kombinierte eine Seitenübersicht mit drei vergrößerten, überlappenden Ausschnitten derselben Seite. Diese Ausschnitte folgten einer festen Aufteilungsregel; Fachleute hatten darin keine Fehlerstellen vorab markiert. Textsuche und Aufgabenstellung blieben beim Vergleich gleich.
Im ersten Versuch bearbeiteten vier Systeme 40 Prüfaufgaben aus sechs Projekten mehrfach. Als richtig zählte eine Prüfentscheidung, wenn sie mit der vorhandenen Expertenreferenz übereinstimmte. Die über Projekte und Aufgabengruppen gemittelte Trefferquote lag bei rund 40 Prozent mit mehreren Seitenübersichten und bei 51 Prozent mit einer Übersicht und vergrößerten Ausschnitten. Bei weiteren 120 Aufgaben aus 23 anderen Projekten mit zwei Systemen war die mittlere Trefferquote der Ausschnittvariante dagegen etwas geringer als die der Variante mit mehreren Seitenübersichten. Dieser Unterschied war statistisch nicht eindeutig.
Die Beispiele zeigen zwei unterschiedliche Anforderungen. Ein falscher Detailverweis wird leichter erkennbar, wenn kleine Beschriftungen groß genug dargestellt sind. Ein Abgleich von Türen- und Verglasungsanforderungen kann dagegen Ansichten aus mehreren Dokumenten benötigen. Werden die Bildplätze überwiegend für eine einzelne Seite verwendet, fehlen unter Umständen die anderen Unterlagen. Auch eine richtige Entscheidung, dass etwas nicht stimmt, lieferte im Versuch häufig noch keine vollständige Liste der konkreten Beanstandungen. Wiederholt gleichlautende Modellantworten konnten ebenfalls falsch sein.
Für die Plan- und Dokumentprüfung muss die Bereitstellung der Unterlagen deshalb zur Prüffrage passen: Kleine Beschriftungen brauchen Auflösung, blattübergreifende Vergleiche brauchen Überblick. Vor einer fachlichen Freigabe muss sich zeigen, ob die gewählten Ansichten die nötigen Belege enthalten und ob die erkannten Beanstandungen vollständig sind.
Die Studie zur quellengestützten Dokumentprüfung gehört im Gebäudetyp-E-Briefing zum methodischen Hintergrund des vorgeschlagenen KI-gestützten Variantenvergleichs auf Grundlage konkreter Anforderungen und Referenzunterlagen.
Deep Dive öffnenDie Studie zur Dokumentprüfung liefert im Briefing das Forschungsbeispiel dafür, wie sich der ausgewählte Bildausschnitt und sein Zusammenhang auf die Prüfung von Plänen und Tabellen auswirken.
Deep Dive öffnenDie Studie zur quellengestützten Dokumentprüfung ergänzt im Shimizu-Profil sowohl die Empfehlung zur Antwortprüfung an Originalstellen als auch die vorgeschlagene Übertragung einer Dokumentassistenz auf einfaches Bauen.
Use Case öffnenDie Studie zur quellengestützten Dokumentprüfung dient im Dreso.AI-Profil als methodischer Hintergrund für die Empfehlung, bei einem eigenen Ausschreibungspilot auch die fachliche Durchsicht und Korrektur der Ergebnisse einzubeziehen.
Use Case öffnenDie Studie zur quellengestützten Dokumentprüfung ergänzt im Gilbane-Profil die Empfehlung, unklare Antworten eines eigenen Piloten nach fehlenden Unterlagen, unvollständigem Abruf und fehlerhafter Interpretation zu unterscheiden.
Use Case öffnenDer Preprint zur Prüfung von Bauunterlagen liefert im Lightblue-Profil methodischen Hintergrund für die Planung eigener Tests mit Fachfragen und Dokumentfassungen.
Organisation öffnenDer Preprint zur Prüfung von Bauunterlagen dient im Drees-&-Sommer-Profil als methodischer Hintergrund für die Ausrichtung einer eigenen Assistenz auf konkrete Anforderungen und Dokumentaufgaben.
Organisation öffnen