英伟达发布可以在本地运行的AI聊天机器人，更加注重数据安全和个人隐私
近日，据海外媒体报道，英伟达（Nvidia）公司发布了一款可以在Windows PC上运行的生成式人工智能聊天机器人。这使得企业员工可以在本地环境中利用人工智能来提高工作效率，而无需他们访问由如OpenAI等公司提供的生成式人工智能工具。
与此同时，英伟达发布了一个名为Chat with RTX的演示应用，该应用目前可以免费下载使用。根据英伟达公司的说法，这可以将用户的私人数据保存在他们自己的电脑上，同时帮助他们根据这些数据快速搜索问题的答案。
英伟达公司的产品经理Jesse Clayton在一篇博客中提到，由于Chat with RTX是在Windows RTX PC和工作站上本地运行，因此提供的结果很快。用户的数据也会留在设备上。Chat with RTX允许用户在本地PC上处理敏感数据，而不需要与第三方共享或连接互联网，不是依赖于基于云的大语言模型服务。
据介绍，Chat with RTX允许用户从两个开源大语言模型中进行选择：Mistral或是Llama 2。另外，需要Nvidia GeForce RTX 30系列GPU或更高版本，至少有8GB视频RAM，运行Windows 10或11操作系统，并使用最新的Nvidia GPU驱动程序。Chat with RTX可以在GEForce驱动的Windows电脑上运行，使用检索增强生成(（RAG）、NVIDIA TensorRT-LLM软件和NVIDIA RTX加速。
Jesse Clayton提到，用户可以简单地输入查询，而不是搜索笔记或保存的内容。例如，你可以问，‘在拉斯维加斯时，我的伴侣推荐的餐厅是什么？’Chat with RTX则会扫描用户指向的本地文件，并提供带有上下文的答案。
随着生成式人工智能对发展，英伟达将自己定位为硬件和软件的供应商。英伟达公司首席执行官黄仁勋曾表示，该公司的GPU将使人工智能能够跨多个平台访问，从云到服务器再到边缘计算。
Chat with RTX似乎符合上述策略。Chat with RTX支持各种文件格式，包括文本、pdf、doc/docx和xml。用户可以通过将Chat with RTX指向包含文件的文件夹来将数据添加到聊天机器人的库中。几秒钟后，这些内容就会被添加到聊天机器人中。用户还可以提供YouTube播放列表的URL，Chat with RTX则将加载播放列表中视频的转录，使人们能够查询YouTube所提到的内容。
另外，根据英伟达公司的说法，由于Chat with RTX是由GitHub上的TensorRT-LLM RAG开发人员参考项目构建的，开发人员可以为该平台构建自己的基于RAG的应用程序。
根据云安全解决方案公司Menlo Security即将发布的一份报告，“生成式人工智能对网络安全态势将有持续影响”，关于聊天机器人的安全和隐私问题也是如此。Menlo Security的首席产品经理Jamie Lawson表示，本地运行的个性化聊天机器人可以提高员工的工作效率，同时减少对隐私的担忧，这一想法当然很有吸引力。
他提到，这就像在你的设备上安装了你自己的个人人工智能助手，让你的对话保持私密和安全。通过将数据和反馈响应限制在用户的本地环境中，可以显著降低向外部泄露敏感信息的风险。
延伸阅读：
- 英伟达在2023年已参与35笔人工智能领域的投资
- 当人工智能结合工业机器人，英伟达旗下投资部门领投Machina Labs最新的3200万美元融资
- 戴尔涉足生成式AI领域，在基础设施方面与英伟达进行合作
- 英伟达宣布为游戏提供定制AI模型代工服务，让游戏中的NPC具备新的智能水平
- 英伟达发布Neuralangelo，借助神经网络将2D视频转换为更精细的3D结构
Powered by Froala Editor
