課程介紹
檢索增強生成（Retrieval-Augmented Generation，RAG）是一種結合大型語言模型（LLM）與外部資料檢索的技術，目標是提升生成式AI模型的準確性和可靠性，同時降低幻覺發生的可能性。RAG技術目前已有相當廣泛的產業應用案例，列舉如下：
- 企業知識管理：RAG技術可用於建構企業內部的知識庫查詢系統，讓員工能夠透過自然語言提問，快速取得所需資訊已以提升工作效率。
- 智能客服系統：透過RAG技術，企業可以建立智能客服機器人，24小時自動回應客戶詢問，提供精確、即時且與企業高度相關的資訊，提升客戶滿意度。
- 個性化購物體驗：零售商利用RAG技術，從搜尋引擎、社交媒體等即時來源中蒐集客戶喜好和市場趨勢，為每位購物者提供個人化的產品建議，增加顧客滿意度並提高銷售轉化率。
ChatGPT的出現讓大型語言模型 (LLM) 的發展和實際使用發生巨大的變化，檢索系統是這項技術飛躍的最前端。這些模型的用途不僅限於工作自動化，更可透過大量工具和文件互動來提高生產力。本課程將了解相關的模型編排技術、內部推理、對話管理和工具策略。
本次課程將帶領同學們認識 LLM大型語言模型的重要觀念。學員可直接在其雲端教學環境中操作相關課程，無須另外安裝開發環境，並於課程結束後取得NVIDIA原廠電子證照。
本課程原文名稱為 [Building RAG Agents with LLMs]， NVIDIA DLI 目前未提供正體中文版本，相關資訊皆以原廠為準。
完成課程評量之後即可取得完課證明。
課程定位
- 程度：技術 – 中級 (本課程屬於 NVIDIA DLI / LLM grouping Level 2)
- 主題：深度學習 / 生成式AI / 大語言模型
- 完課證明：有
- 考試方式：程式實作
- 課程先修條件：熟悉 Python 語法，對於 LLM 關鍵技術有扎實理解
- 所需軟體：Python, PyTorch, HuggingFace, Transformers, LangChain, LangGraph
- 所需硬體：可連上網際網路的筆記型電腦，用於連入 DLI 雲端虛擬機執行課程，筆記型電腦無須另外安裝程式
- 相關資訊：請參考 DLI Generative AI / LLM 學習路徑
- 課程定位：本課程位於 DLI 學習路徑之 Generative AI / LLM分類，如下圖，也歡迎從中找到更多您喜歡的課程：
學習目標
完成本課程後，您將能夠：
- 設計一個能與使用者可預測互動的大型語言模型系統，並結合內部與外部的推理元件。
- 開發一套對話管理與文件推理系統，能維持狀態並將資訊強制轉換成結構化格式。
- 利用嵌入模型進行高效的相似度查詢，以支援內容檢索與對話防護。
- 實作、模組化並評估一個 RAG 代理 (Retrieval-Augmented Generation agent)，使其能不進行任何微調的情況下，針對資料集中研究論文的內容回答問題。
課程特色
1. 聚焦 RAG 與 LLM 實戰應用
課程先行介紹大型語言模型的理論基礎，更強調 檢索增強生成 (RAG) 在研究論文與真實應用場景中的落地實作，讓學員學會如何建構能回答專業資料集問題的智慧代理。
2. 實作導向學習
從 LLM 推論介面、LangChain 管線設計、Gradio/LangServe 部署，到 向量資料庫 (Vector Store) 的檔案檢索，涵蓋開發、串接、部署的完整流程。
3. 對話管理與狀態維護
透過設計對話管理機制與狀態維護，學員能掌握如何將對話轉換成結構化資訊，並有效支援多輪互動與知識推理。
4 嵌入模型與語意檢索
深入介紹嵌入模型在語意相似度、檢索效率與對話安全防護 (Guardrailing) 上的應用，確保系統能精準且安全地處理使用者需求。
5. 課程認證與實作評量
透過最終評量，學員需整合文字生成、多模態學習與智能代理技術來開發一個 LLM 應用。成功完成課程評量將獲得完課證明，驗證所學技能。
課表
第一天
| 時間 | 內容 |
| 10:00 – 10:30 | 簡介NVIDIA DLI深度學習機構與主流AI工具
註冊NVIDIA開發者帳號 |
| 10:30 – 12:00 | 認識 NVIDIA NIM 生成式 AI 平台
自迴歸模型與大型語言模型 探索大型語言模型和向量資料庫的可擴展部署策略 |
| 12:00 – 13:00 | 午餐時間 |
| 13:00 – 14:40 | 使用模型 API
– 串接不同模型的比較與實作練習 LangChain 概念與應用範例 |
| 14:40 – 15:00 | 休息與交流時間 |
| 15:00 – 16:30 | Running States 與內部推理
– 在對話代理中實作推理功能 – 練習設計一個多輪對話 + reasoning agent |
| 16:50 – 17:00 | Q&A 與複習：
回顧本日學習內容並解答問題。 |
第二天
| 時間 | 內容 |
| 10:00 – 11:00 | 文件載入與處理
– 載入不同格式的文件 – 嵌入模型與語意檢索 |
| 11:00 – 12:00 | 文件向量化
– 建立向量儲存庫 |
| 12:00 – 13:00 | 午餐時間 |
| 13:00 – 15:20 | RAG Agent 完整實作
– 向量儲存 + RAG pipeline 實作 – RAG 評估與測試 – RAG 評估系統實作 (LLM as a judge) |
| 15:20 – 15:30 | 休息與交流時間 |
| 15:30 – 16:30 | 課程評量
– 完成課程評量並獲得證書。 |
| 16:30 – 17:00 | 結尾與後續資源：
填寫課程問卷，了解環境設置與進階學習資源。 |
