RTX 聊天助手：本地化AI聊天机器人初探
英伟达今日推出了RTX版聊天助手的早期版本，这是一个演示应用，允许用户在个人电脑上运行AI聊天机器人。你可以喂给它YouTube视频和自己的文档，生成摘要并根据你的数据获取相关答案。这一切都在本地PC上运行，你只需一块拥有至少8GB显存的RTX 30或40系列GPU。
过去一天，我短暂试用了RTX聊天助手，尽管该应用尚待完善，但我已经能够预见其对于记者或需要分析文档集合的任何人来说，在数据研究中的潜在价值。
视频与文档搜索利器
RTX聊天助手能处理YouTube视频，输入URL即可搜索字幕，查找特定提及或总结整个视频内容。我发现这对于检索视频播客特别有用，尤其是在近期微软新Xbox战略传闻中寻找特定讨论点时。
然而，在搜索YouTube视频方面并不总是完美无瑕。尝试搜索The Verge的一段YouTube视频时，RTX聊天助手却下载了完全不同视频的字幕，而且我之前并未查询过这个视频，显然这个早期演示版存在一些bug。
本地文档搜索表现出色
当功能正常运行时，我能在几秒钟内找到视频中的引用信息。我还创建了一个FTC诉微软文档的数据集供RTX聊天助手分析。去年报道法庭案件时，快速浏览大量文件常常令人感到压力山大，而RTX聊天助手则帮助我在PC上几乎瞬间完成查询。
例如，聊天机器人很好地概括了审判期间内部文件揭示的微软Xbox Game Pass策略：
根据提供的上下文信息，Xbox Game Pass是一个游戏订阅服务，以单一月费提供游戏库访问权限。它的愿景是打造一个让玩家随时随地玩游戏的平台，并使发行商能够触及全球玩家。服务由Project xCloud和Xbox Series X支持，旨在为发行商创造一个盈利的游戏土壤。游戏CSA的主要战略目标是扩大Xbox Game Pass的规模，认为全球有高达7.5亿的潜在订阅者机会。服务面临三大内容动态，包括需要差异化内容、超越主机平台以及有限的内容供应。
此外，我发现此工具在扫描PDF和查证数据方面也很实用。微软自家的Copilot系统在Word中处理PDF表现不佳，但Nvidia的RTX聊天助手轻松提取关键信息，响应几乎是即时的，没有使用基于云端的ChatGPT或Copilot聊天机器人时常见的延迟问题。
初期开发者演示的局限性
RTX聊天助手给人的感觉确实像是早期开发者的演示。它本质上是在你的PC上安装一个Web服务器和Python实例，然后利用Mistral或Llama 2模型来查询你提供的数据，并通过RTX GPU上的张量核心加速查询。
不过，RTX聊天助手并不总是准确无误。在我的Intel Core i9-14900K处理器和RTX 4090 GPU驱动的PC上，安装过程大约耗时30分钟。应用程序大小接近40GB，Python实例占用了系统64GB内存中的约3GB。一旦运行起来，你需要通过浏览器访问RTX聊天助手，同时后台命令提示符会显示正在处理的内容和任何错误代码。
Nvidia并没有将其作为一款成熟的应用推荐给所有RTX用户立即下载安装。目前存在已知问题和限制，如来源归属不准确。起初，我试图让RTX聊天助手索引25,000份文档，但这似乎导致了应用崩溃，我不得不清除偏好设置才能重新开始。
此外，RTX聊天助手不会记住上下文，因此后续问题不能基于前一个问题的语境。它还会在你指定要索引的文件夹中创建JSON文件，所以我建议不要让它遍历Windows的整个“文档”文件夹。作为一个技术演示，我还是非常欣赏的，Nvidia确实在这里展示了未来AI聊天机器人在本地PC上可能实现的能力，特别是对于那些不想仅仅为了分析个人文件就订阅Copilot Pro或ChatGPT Plus的用户而言。
