法學碩士的挑戰
大型語言模型 (LLM) 使用基於變換器的深度學習，將文字映射為數值向量，建立它們之間的關係。
但是，他們對大量資料集的依賴造成了挑戰，例如：
- 偏差與知識缺口- 訓練資料過大，無法手動驗證，導致技術細節遺漏或觀點偏差。
- 缺乏品質控制- 除了時間截點等一般參數外，沒有簡單的方法可以稽核哪些資料塑造了模型。
LLM 無法識別遺漏的知識，導致：
- 幻覺- 虛假、過時或過於一般的回應。
- 不可靠的資料來源- 人工智慧可能會摘錄非權威性的內容、混淆術語或曲解上下文。
- 不一致的行為- 沒有兩個提示是相同的，因此開發人員很難預測人工智慧的風險。
這些缺陷削弱了人工智慧的可靠性，例如 Google Chrome 的人工智慧建議使用姓名和生日作為弱密碼。 為了處理這些風險，您應該利用人工智慧 Trust, Risk, and Security Management(人工智慧 TRiSM)，這是安全人工智慧 部署的必要條件。
此外，Retrieval Augmented Generation (RAG) 可整合即時、權威的資料，提高精確度。
檢索擴增生成如何增強大型語言模型？
RAG 分為兩個步驟運作：
資料擷取與預處理
RAG 系統首先會精確辨識提示所針對的主題、領域或產業，然後會使用搜尋演算法來存取 LLM 原始訓練集以外的外部資料。
這些資料可以來自應用程式開發介面、資料庫或相關文件等各種不同格式的來源：
- 檔案
- 資料庫記錄
- 長格式文本
類似於基本的 LLM，RAG 接著會將這些資料轉換成向量資料庫內的數值表示。
接地世代
在建立相關問題的回應時，預先訓練好的 LLM 可以從 RAG 自己的向量資料庫中抽取資料來豐富其回應。這種增強的上下文可讓模型產生更精確、詳細，並針對特定使用者查詢量身打造的回應。
由於 RAG 基本上可作為 LLM 的螺栓升級而實施，因此其使用率相當高。
RAG 如何應用於不同產業
指出一個正在探索法律碩士的產業，就很有可能會實施 RAG。
聊天機器人
準確、簡潔且與上下文相關的回應是由 LLM 驅動的聊天機器人的核心賣點；由 RAG 驅動的聊天機器人能夠更可靠地滿足這些需求，這要歸功於它們能夠從龐大的公司資料集中取得準確資訊。
這有助於實現聊天機器人所承諾的能力，以處理特定的客戶詢問或個人化的財務建議。
法律任務
RAG 模型能夠透過尋找和擷取相關的法律文本來尋找法律先例，並歸納相關的案例法和文件。因此，具備 RAG 功能的 LLM 可為法律專業人員節省大量時間，同時也能幫助法律學生找到對案件至關重要的資訊。
網路安全
就像 RAG 加速法律團隊尋找和消化正確資訊的過程一樣，安全供應商簽發的 LLM 可讓安全分析師查詢和尋找其技術堆疊中發生的事件。透過擷取安全工具所需及建立的所有相關檔案，內部 RAG 可以成為促進網路安全效率的一股不可思議的力量。
它可讓分析師驗證修補程式的執行、尋找潛在資料遺失的路徑，並根據需要搜尋防火牆存取政策。
實施 RAG 的三大挑戰
雖然 RAG 為 LLM 工具所能取得的回應和資料提供了新的深度層面，但它也不是沒有挑戰。
#1: 太小（或太大）的資料集區塊
RAG 仍然需要大量的資料：所有這些檔案和文件都需要納入 RAG，但這些檔案和文件本質上無法以這種形式使用。
這些檔案中所有可用的資訊仍需要擷取，並依此分塊。
這會帶來許多痛點，例如：
- 上下文的遺失：使塊數太小成為可能。將文件分割成過小的片段，意味著 RAG 可能會擷取到太過技術性或小眾的資訊，以致於沒有用處，或是完全失去文件不同部分之間的某些連繫。
- 較大的區塊需要平衡：太大的區塊在處理和運算時會開始變得較慢。
#2：推理成本高
LLM 的核心目標是控制成本：它們能夠透過加速員工的產出，為企業帶來價值，從而節省時間和金錢。
然而，這所需的處理能力很快就會讓這個目標岌岌可危：上下文視窗大小、訓練資料量和模型大小都會造成 RAG 和 LLM 成本。這就是為什麼在您的企業中，選擇專門針對其使用案例量身打造的 LLM 是如此重要的原因。
由於已針對該使用個案進行最佳化，因此可享有較低的推論成本。
#3: 擷取的資料不相干
RAG 系統並非無懈可擊： 它能夠擷取與使用者初始查詢不完全相關的資料。
這可能有多種不同的形式，有時是由於系統遺漏了可能包含最佳答案的最高排序文件，或者是回應生成過程未能充分排序這一大塊...
因此，它無法進入最終答案。
Adopt Check Point AI Copilot with RAG for Smarter Security Management
Check Point offers RAG support across all 3 of its major security offerings – from firewall-focused Check Point, to Check Point Extended Prevention and Response, and full-stack SASE solution Workspace Security. Known as AI Copilot, Check Point’s AI agent adapts exclusively to the security data and events that your organization relies on day-to-day.
有了人工智慧 Copilot，安全和 IT 團隊就能要求助理更新存取控制、建立安全政策，以及解決票單問題。 無論當下需要什麼，人工智慧 Copilot 都能 快速 瀏覽大量文件和事件資料， 並將關鍵任務資料傳送給最合適的人員 。
人工智慧 Copilot 並非 GenAI 今年唯一的進化： Check Point 賦予人工智慧開發與部署專案全面深入的安全性，識別影子 GenAI 應用程式開發介面，並識別特定於您組織的高風險階段與使用個案。
如果您想提升您的人工智慧 TRiSM 能力，並在不斷演進的世界中保持安全，請申請試用我們的 GenAI 保護工具。
