nvidia近日宣布将开源nemo gardrails，为开发人员提供一个框架，以确保生成的ai聊天机器人对用户是准确且安全的。
当前，众多行业正在越来越快地采用这些由大型语言模型提供支持的ai聊天机器人，这些强大的ai引擎有很多用途，例如回答客户的问题、生成软件代码、生成艺术品等等。
即使这些聊天机器人已经变得越来越强大，但同时也存在一些缺陷。一些更受欢迎的大型语言模型，例如openai的chatgpt，它和微软的bing ai聊天机器人都是运行在相同的模型之上，众所周知chatgpt会产生一种“幻觉”，也就是ai会自信地陈述一些完全虚假信息。有些聊天机器人也可能会变得不稳定，根据向它们提出的查询产生不需要的响应内容，在其他情况下，恶意用户也试图使用ai来生成恶意软件。
nvidia公司应用研究副总裁jonathan cohen表示：“生成式ai的安全性是全行业普遍关注的问题。nemo guardrails旨在帮助用户保护这类新型ai应用的安全。”
nemo guardrails为开发人员提供了一个简单的凯发k8官网下载的解决方案，为ai聊天机器人设置边界，可以控制用户和聊天机器人之间的对话，包括主题、安全和保障，这个护栏会通过监控对话并应用开发人员设置的简单英语规则，来确保机器人的响应是适当的。开发人员无需了解高级编码即可设置规则，这些规则可以是用自然语言编写的，guardrails解释器可以理解这些规则，并将其应用于聊天机器人和用户之间的交互中。
主题护栏是让用户和聊天机器人的对话保持在主题上，并保持任何给定对话的基调。例如，它可以确保客户服务机器人保持客户服务模式，例如牙医的办公室机器人将只对提供的服务说话，而不会回答诸如接待员赚了多少钱或者是参与那些可能背离了初衷的对话中。
安全护栏则是对聊天机器人强制执行准确和适当的信息，使用它自己知识库中的事实核查资源，并确保机器人声明它不知道而不是产生虚假信息来减少幻觉。它还通过监控用户的提示和机器人回复，来防止不受欢迎的语言和有害行为，从而保持聊天机器人的专业性。
当用户试图绕过防止ai被用来制作危险内容的安全功能时，安全护栏有助于防止所谓的“越狱”。这些护栏还会限制ai做任何它不应该做的事情，并且只能与已知安全的第三方应用进行连接。
如今已经开源的nemo guardrails旨在与众多不同的企业ai工具配合使用，例如开源工具包langchain，可以让开发人员更轻松地将其应用接入到大型语言模型中，此外还适用于许多支持ai的应用，例如自动化平台zapier。
zapier ai首席产品经理reid robinson表示：“安全、保障和信任是负责任ai开发的基石，我们期待着让ai成为未来可靠和值得信赖的一部分，以及这能够带来的各种好处。”
guardrails正在被纳入nvidia nemo框架中，该框架允许开发人员使用他们自己公司专有的数据构建、定制和部署他们自己的生成式ai模型。大多数nemo框架已经在github上以开源形式提供，nemo作为nvidia ai foundation的一部分为企业客户提供服务。
cohen说，nemo guardrails是nvidia人工智能团队多年研究的产物。他解释说，开发人员的初步反馈是积极的，并且随着开源版本的发布，团队希望更多人采用该框架来构建更安全、更可靠的模型。
cohen说：“我们的目标是让大型语言模型的生态系统以安全、有效和有用的方式发展。如果你对他们可能会说的话感到害怕，那么就很难去使用它们，护栏系统解决了这个问题。”
当前，众多行业正在越来越快地采用这些由大型语言模型提供支持的ai聊天机器人，这些强大的ai引擎有很多用途，例如回答客户的问题、生成软件代码、生成艺术品等等。
即使这些聊天机器人已经变得越来越强大，但同时也存在一些缺陷。一些更受欢迎的大型语言模型，例如openai的chatgpt，它和微软的bing ai聊天机器人都是运行在相同的模型之上，众所周知chatgpt会产生一种“幻觉”，也就是ai会自信地陈述一些完全虚假信息。有些聊天机器人也可能会变得不稳定，根据向它们提出的查询产生不需要的响应内容，在其他情况下，恶意用户也试图使用ai来生成恶意软件。
nvidia公司应用研究副总裁jonathan cohen表示：“生成式ai的安全性是全行业普遍关注的问题。nemo guardrails旨在帮助用户保护这类新型ai应用的安全。”
nemo guardrails为开发人员提供了一个简单的凯发k8官网下载的解决方案，为ai聊天机器人设置边界，可以控制用户和聊天机器人之间的对话，包括主题、安全和保障，这个护栏会通过监控对话并应用开发人员设置的简单英语规则，来确保机器人的响应是适当的。开发人员无需了解高级编码即可设置规则，这些规则可以是用自然语言编写的，guardrails解释器可以理解这些规则，并将其应用于聊天机器人和用户之间的交互中。
主题护栏是让用户和聊天机器人的对话保持在主题上，并保持任何给定对话的基调。例如，它可以确保客户服务机器人保持客户服务模式，例如牙医的办公室机器人将只对提供的服务说话，而不会回答诸如接待员赚了多少钱或者是参与那些可能背离了初衷的对话中。
安全护栏则是对聊天机器人强制执行准确和适当的信息，使用它自己知识库中的事实核查资源，并确保机器人声明它不知道而不是产生虚假信息来减少幻觉。它还通过监控用户的提示和机器人回复，来防止不受欢迎的语言和有害行为，从而保持聊天机器人的专业性。
当用户试图绕过防止ai被用来制作危险内容的安全功能时，安全护栏有助于防止所谓的“越狱”。这些护栏还会限制ai做任何它不应该做的事情，并且只能与已知安全的第三方应用进行连接。
如今已经开源的nemo guardrails旨在与众多不同的企业ai工具配合使用，例如开源工具包langchain，可以让开发人员更轻松地将其应用接入到大型语言模型中，此外还适用于许多支持ai的应用，例如自动化平台zapier。
zapier ai首席产品经理reid robinson表示：“安全、保障和信任是负责任ai开发的基石，我们期待着让ai成为未来可靠和值得信赖的一部分，以及这能够带来的各种好处。”
guardrails正在被纳入nvidia nemo框架中，该框架允许开发人员使用他们自己公司专有的数据构建、定制和部署他们自己的生成式ai模型。大多数nemo框架已经在github上以开源形式提供，nemo作为nvidia ai foundation的一部分为企业客户提供服务。
cohen说，nemo guardrails是nvidia人工智能团队多年研究的产物。他解释说，开发人员的初步反馈是积极的，并且随着开源版本的发布，团队希望更多人采用该框架来构建更安全、更可靠的模型。
cohen说：“我们的目标是让大型语言模型的生态系统以安全、有效和有用的方式发展。如果你对他们可能会说的话感到害怕，那么就很难去使用它们，护栏系统解决了这个问题。”
责任编辑：
