---

原文標題：
NVIDIA 推出個人 AI 聊天機器人 Chat With RTX 開放下載

原文連結：
https://reurl.cc/zlOepV

發布時間：
2024-02-14

記者署名：
SINCHEN

原文內容：


Chat with RTX 採用檢索增強生成（Retrieval-Augmented Generation, RAG）、NVIDIA
TensorRT-LLM 軟體與 NVIDIA RTX 加速的本地端生成 AI，玩家可依據本地的資料連結至
開源的大型語言模型庫：Mistral、Llama 2，達到快速的查詢並獲得相關答案。







Chat with RTX 工具基於 TensorRT-LLM RAG 開發人員參考專案所建立並於 GitHub 中開
源釋出，開發者可依據此專案自行研發自有的 RAG 應用程式，並採用 RTX 加速的
TensorRT-LLM 語言模型。

Chat With RTX 下載：nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/






心得/評論：
已經有很多部落客對此有評論了
1. 整個下載包預計35G  非常大 要先把硬碟空間清出來
   只支援RTX30或40系列顯卡 而且至少要8G VRAM
2. 及時運行速度很快 而且採用RAG可以很快校正答案
3. 跟GPT一樣 有些答案根本是胡扯 所以使用者還是要自己小心

感覺NV想給PC產業做個示範
以前有搭載GTX1050以上的 才叫做 Gaming PC，
現在刀客直接示範甚麼叫做 AI PC
先讓使用者有感覺
然後各大PC品牌就會自己放入符合規範的產品

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.200.31.215 (臺灣)
※ 作者: MA40433 2024-02-15 08:34:56
※ 文章代碼(AID): #1bpLmoQN (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1707957298.A.697.html