Ob die Antwort alle benötigten Bestimmungen anführt
Das Team prüfte das System an 93 Fragen, für die jeweils mehrere Vorschriften benötigt wurden. Die Referenzen entstanden mit Unterstützung eines Fachmanns für Baustellensicherheit und wurden im Forschungsteam gegengeprüft. Verglichen wurden BifrostRAG, eine Vektorsuche nach ähnlicher Bedeutung, ein allgemeines Graphverfahren und ein Sprachmodell ohne Dokumentenzugriff.
Die Messung erfasste, welche der erforderlichen Vorschriften in den Antworten tatsächlich angeführt wurden. BifrostRAG erreichte im Mittel 85,5 Prozent der benötigten Abschnitte, die reine Vektorsuche 69,5 Prozent. Der wesentliche Vorteil lag somit in der Vollständigkeit der verwendeten Bestimmungen. Bei kurzen Fragen mit häufigen Begriffen konnte der Graph allerdings zu viele mögliche Fundstellen liefern. Die Verbindungen müssen zur jeweiligen Frage passende Informationen erschließen, damit die Antwort auf den benötigten Vorschriften beruht.
Für KI-Assistenten im Bau zeigt die Studie, welchen Beitrag die Struktur eines Regelwerks zur Suche leisten kann. Sicherheitsfachkräfte könnten damit ergänzende Bestimmungen und deren Fundstellen leichter nachvollziehen. Für die Übertragung auf weitere Regelwerke müssten deren Gliederung, Begriffe und Verweise erfasst und fachlich geprüft werden.