Startseite » Kursübersicht » Large Language Models » Kurs Detailseite

Large Language Models (LLM) - RAG-Tuning und Evaluation

Kurzbeschreibung

Dieser Kurs zeigt, wie Sie Retrieval-basierte LLM-Systeme optimieren und evaluieren. Sie lernen wichtige Metriken, Tuning-Strategien und automatisierte Evaluationsverfahren kennen und entwickeln praxisnah robuste, überprüfbare RAG-Pipelines für produktive Anwendungen.
Kursinfo kurslme

In diesem Kurs lernen Sie, wie Sie die Qualität von LLM-Anwendungen mit Retrieval-Augmented Generation (RAG) gezielt verbessern und bewerten. Sie analysieren Retrieval-Metriken wie Recall, Precision oder nDCG und verstehen, wie Chunking, Embedding-Auswahl und Indexparameter die Systemleistung beeinflussen.
Der Fokus liegt auf praxisnahen Tuning-Strategien für semantische und hybride Suchsysteme, dem Einsatz von Re-Ranking-Modellen sowie der Kombination klassischer IR-Techniken mit modernen LLM-Ansätzen. Sie lernen automatisierte und manuelle Evaluationsmethoden kennen und erstellen aussagekräftige Benchmarks. Abschließend behandeln Sie Monitoring, Drift Detection, KPI-Tracking und Feedback-Loops zur kontinuierlichen Verbesserung von produktiven LLM-Systemen.
Angesprochener Teilnehmerkreis:
Entwickler, Data Scientists, MLOps-Teams, Produktverantwortliche und QA-Fachkräfte, die RAG-Systeme optimieren oder betreiben und deren Leistung zuverlässig bewerten möchten.
Kursziel:
Sie kennen Metriken, Methoden und Werkzeuge zur Evaluation von LLM-basierten Systemen und verbessern gezielt die Qualität und Zuverlässigkeit Ihrer RAG-Anwendungen.
Seminar- bzw. Schulungsinhalte
- Grundlagen von Retrieval-Qualität
  - Metriken: Recall, Precision, nDCG
  - Warum klassisches IR- und LLM-Tuning zusammengehören
- Tuning-Strategien
  - Chunking-Varianten (Overlaps, Semantik-basiert)
  - Embedding-Modelle vergleichen
  - Index-Parameter optimieren (z. B. k, Abstandsmessung)
- Re-Ranking & Hybrid Search
  - Lexikalische + semantische Suche kombinieren
  - Einsatz von Cross-Encodern
  - Trade-offs zwischen Qualität und Kosten
- Evaluationstechniken
  - Human-in-the-loop Verfahren
  - Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval
  - Benchmark-Sets aufbauen
- Qualitätssicherung im Betrieb
  - Bias-Checks, Halluzinationsanalyse
  - Drift Detection bei Embeddings
  - Canary-Tests für neue Pipelines
- Monitoring & Reporting
  - KPI-Tracking: Retrieval-Präzision, Factuality
  - Dashboards für Stakeholder
  - Feedback Loops und kontinuierliche Verbesserung
Seminar- bzw. Schulungsvoraussetzungen

Grundkenntnisse in NLP oder Vektorsuche sowie erste Erfahrungen mit RAG, LangChain oder LLM-Entwicklung sind von Vorteil. Basiswissen in Python wird empfohlen.
Seminarart

Dieses Seminar können Sie als Präsenzseminar oder als Live-Online-Training (virtuelles Präsenzseminar) buchen. Die technischen Voraussetzungen für Live-Online-Schulungen (Virtual Classrooms) finden sie hier. Sie können Ihre Auswahl bei der Anmeldung treffen.

Alle Kursinformationen als PDF

Anmeldung

Zeitrahmen: 2 Tageskurs | 09:00 bis 16:00 Uhr

Preise

Die Teilnahmegebühr beträgt

ab 1.490,00 €
(1.773,10 € inkl. 19% MwSt.)

Durchführung ab 1 Teilnehmenden (mehr lesen ...)

Im Preis enthalten sind PC-COLLEGE - Zertifikat, Pausenverpflegung, Getränke und Kursmaterial.

Statistiken

32 Kunden haben bereits die Schulung:
Large Language Models (LLM) - RAG-Tuning und Evaluation gebucht. (innerhalb der letzten 24 Monate als offenes Seminar, Firmenschulung oder Workshop)
Ihre Vorteile
- Kundenauszeichnung
  
  PC-COLLEGE bietet exzellente Seminare bestätigen unsere Teilnehmer auf dem unabhängigen Bewertungsportal eKomi.
- Schulungsexperte seit 1985
  
  Wir haben mehr als 30 Jahre Schulungserfahrung. Dabei setzen wir auf Trainerinnen und Trainer mit langjähriger didaktischer und praktischer Erfahrung.
- Zertifikatsservice
  
  Sollten Sie Ihr PC-COLLEGE-Zertifikat verlegt oder bei einem Arbeitgeber abgegeben haben, senden wir Ihnen auf Wunsch, bis zu sieben Jahre nach Kursende, gerne Ihr Original-Zertifikat per Post oder ein PDF per E-Mail zu.
- ... alle Vorteile auf einen Blick

Terminübersicht

SeNr.	Seminar	Termin	Dauer	Standorte
LME 251120	Large Language Models (LLM) - RAG-Tuning und Evaluation	20.11. - 21.11.2025	2 Tage	Live-Online-Training
LME 251120	Large Language Models (LLM) - RAG-Tuning und Evaluation	20.11. - 21.11.2025	2 Tage
LME 251125	Large Language Models (LLM) - RAG-Tuning und Evaluation	25.11. - 26.11.2025	2 Tage	Live-Online-Training
LME 251215	Large Language Models (LLM) - RAG-Tuning und Evaluation	15.12. - 16.12.2025	2 Tage	Live-Online-Training
LME 251215	Large Language Models (LLM) - RAG-Tuning und Evaluation	15.12. - 16.12.2025	2 Tage
LME 260112	Large Language Models (LLM) - RAG-Tuning und Evaluation	12.01. - 13.01.2026	2 Tage	Live-Online-Training
LME 260112	Large Language Models (LLM) - RAG-Tuning und Evaluation	12.01. - 13.01.2026	2 Tage
LME 260212	Large Language Models (LLM) - RAG-Tuning und Evaluation	12.02. - 13.02.2026	2 Tage	Live-Online-Training
LME 260212	Large Language Models (LLM) - RAG-Tuning und Evaluation	12.02. - 13.02.2026	2 Tage
LME 260309	Large Language Models (LLM) - RAG-Tuning und Evaluation	09.03. - 10.03.2026	2 Tage	Live-Online-Training
LME 260309	Large Language Models (LLM) - RAG-Tuning und Evaluation	09.03. - 10.03.2026	2 Tage
LME 260409	Large Language Models (LLM) - RAG-Tuning und Evaluation	09.04. - 10.04.2026	2 Tage	Live-Online-Training
LME 260409	Large Language Models (LLM) - RAG-Tuning und Evaluation	09.04. - 10.04.2026	2 Tage
LME 260504	Large Language Models (LLM) - RAG-Tuning und Evaluation	04.05. - 05.05.2026	2 Tage	Live-Online-Training
LME 260504	Large Language Models (LLM) - RAG-Tuning und Evaluation	04.05. - 05.05.2026	2 Tage
LME 260601	Large Language Models (LLM) - RAG-Tuning und Evaluation	01.06. - 02.06.2026	2 Tage
LME 260604	Large Language Models (LLM) - RAG-Tuning und Evaluation	04.06. - 05.06.2026	2 Tage	Live-Online-Training
LME 260629	Large Language Models (LLM) - RAG-Tuning und Evaluation	29.06. - 30.06.2026	2 Tage	Live-Online-Training
LME 260629	Large Language Models (LLM) - RAG-Tuning und Evaluation	29.06. - 30.06.2026	2 Tage
LME 260730	Large Language Models (LLM) - RAG-Tuning und Evaluation	30.07. - 31.07.2026	2 Tage	Live-Online-Training
LME 260730	Large Language Models (LLM) - RAG-Tuning und Evaluation	30.07. - 31.07.2026	2 Tage
LME 260824	Large Language Models (LLM) - RAG-Tuning und Evaluation	24.08. - 25.08.2026	2 Tage	Live-Online-Training
LME 260824	Large Language Models (LLM) - RAG-Tuning und Evaluation	24.08. - 25.08.2026	2 Tage
LME 260924	Large Language Models (LLM) - RAG-Tuning und Evaluation	24.09. - 25.09.2026	2 Tage	Live-Online-Training
LME 260924	Large Language Models (LLM) - RAG-Tuning und Evaluation	24.09. - 25.09.2026	2 Tage
LME 261019	Large Language Models (LLM) - RAG-Tuning und Evaluation	19.10. - 20.10.2026	2 Tage	Live-Online-Training
LME 261019	Large Language Models (LLM) - RAG-Tuning und Evaluation	19.10. - 20.10.2026	2 Tage
LME 261119	Large Language Models (LLM) - RAG-Tuning und Evaluation	19.11. - 20.11.2026	2 Tage	Live-Online-Training
LME 261119	Large Language Models (LLM) - RAG-Tuning und Evaluation	19.11. - 20.11.2026	2 Tage