Seit ungefähr einem Jahr versuchen Unternehmen generative AI in ihren Produkten einzusetzen. Meist wird dafür RAG, also Retrieval-Augmented Generation verwendet, um das LLM mit unternehmenseigenen Daten zu versorgen. Doch hierbei stößt man schnell an die Grenzen der Methodik: Mittelmäßig gute Ergebnisse, Schwierigkeiten bei der Bereitstellung von strukturierten Daten und der Erfassung der Qualität von generierten Antworten. Doch im Laufe dieses und letzten Jahres haben sich einige Frameworks und Methoden etabliert, um mit diesen Problemen umzugehen und genau um diese geht in es in diesem Vortrag.