Cohere Command R 和 R 现已在 Amazon SageMaker JumpStart 中提供

关键要点

今天，我们非常高兴地宣布，Cohere Command R 和 R 基础模型现已通过 Amazon SageMaker JumpStart 提供，可用于部署和运行推理。Command R 和 R 是为企业级工作负载设计的最先进的检索增强生成RAG优化模型。

在这篇文章中，我们将介绍如何通过 SageMaker JumpStart 发现和部署 Cohere Command R/R 模型。

Cohere Command R 和 Command R 是什么？

Cohere Command R 是一系列高度可扩展的语言模型，旨在在高性能和高准确性之间取得平衡。Command R 系列包括 Command R 和 Command R 模型，优化了 RAG 基于的工作流程，如对话交互和长文本任务，使企业能够走出概念验证阶段，进入实际生产。这些强大的模型旨在处理复杂任务，具备高性能和强准确性，使其适合实际应用。

Command R 在 RAG 和工具使用任务中表现出色，具有低延迟和高吞吐量，支持长达 128000 个标记的文本上下文，并在包括英语、法语、西班牙语、意大利语、德语、葡萄牙语、日语、韩语、阿拉伯语和中文在内的十种主要语言中表现优异。

Command R 是最新的模型，经过优化以实现极高效的对话交互和长文本任务。针对需要复杂 RAG 功能和多步骤工具使用代理的工作流程推荐使用它，而 Cohere R 更适合简单的 RAG 和单步骤工具使用任务，以及价格考虑至关重要的应用。

什么是 SageMaker JumpStart

借助 SageMaker JumpStart，用户可以从广泛的公开基础模型中进行选择。机器学习从业者可以将基础模型部署到专用的 SageMaker 实例上，并在网络隔离的环境中自定义模型以进行训练和部署。您现在可以在 Amazon SageMaker Studio 中或通过 SageMaker Python SDK 程序化方式，发现和部署 Cohere Command R/R 模型。这将帮助用户利用 SageMaker 提供的功能，如 SageMaker Pipelines、SageMaker Debugger 或容器日志，以实现模型性能和机器学习操作MLOps控制。

模型在 AWS 安全环境中部署，并在您的虚拟私有云VPC控制下，帮助确保数据安全。Cohere Command R/R 模型目前可在 useast1弗吉尼亚北部、useast2俄亥俄州、uswest1加利福尼亚北部、uswest2俄勒冈州、加拿大中央、eucentral1法兰克福、euwest1爱尔兰、euwest2伦敦、euwest3巴黎、eunorth1斯德哥尔摩、apsoutheast1新加坡、apsoutheast2悉尼、apnortheast1东京、apnortheast2首尔、apsouth1孟买和 saeast1圣保罗进行部署和推理。

发现模型

您可以通过 SageMaker JumpStart 在 SageMaker Studio 用户界面和 SageMaker Python SDK 中访问基础模型。在本节中，我们将介绍如何在 SageMaker Studio 中发现这些模型。

在 SageMaker JumpStart 登陆页面上，您可以轻松通过浏览不同的中心发现各种模型，这些中心以模型提供者命名。Cohere Command R 和 R 模型可在 Cohere 中心找到。如果没有看到这些模型，请确保通过关闭并重新启动 Studio Classic Apps 来更新到最新的 SageMaker Studio 版本。

要查找 Command R 和 R 模型，可以在 SageMaker JumpStart 登陆页面左上角的搜索框中搜索“Command R”。每个模型可以在 Amazon Elastic Compute Cloud (EC2) P5 实例 上部署，基于 NVIDIA H100 Tensor Core GPUp548xlarge和 Amazon EC2 P4de 实例 基于 NVIDIA A100 Tensor Core GPUmlp4de24xlarge。

部署模型

为了演示模型部署，我们将部署基于 NVIDIA H100 的 Cohere Command R。选择模型卡以打开相应的模型详细页面。

当选择 部署 时，会出现一个窗口提示您在 AWS Marketplace 上订阅该模型。选择 订阅，这将重定向您到 Cohere Command RH100的 AWS Marketplace 列表。按照屏幕上的说明完成订阅过程。

一旦完成订阅，返回模型详细页面，选择 部署，部署过程将开始。

或者，您还可以选择模型卡上的 Notebooks 选项，并在 JupyterLab 中打开示例笔记本。此笔记本提供了有关如何部署模型进行推理和清理资源的端到端指导。您还可以在 Cohere SageMaker GitHub 仓库 中找到此 示例笔记本。为了确保端点的安全性，您可以为 SageMaker 端点配置 AWS 密钥管理服务KMS 密钥。

如果端点已经创建，您可以简单地连接到它：

pythonco = Client(regionname=region)coconnecttoendpoint(endpointname=coherecommandrplus)

实时推理

一旦您的端点已连接，您可以使用 cochat 端点进行实时推理：

pythonmessage = 撰写一篇关于进入科技行业的 LinkedIn 文章：response = cochat(message=message stream=False)

多语言支持

Command R/R 经过优化，能够在前文提到的 10 种主要语言中表现优秀。此外，还包括以下 13 种语言的预训练数据：俄语、波兰语、土耳其语、越南语、荷兰语、捷克语、印尼语、乌克兰语、罗马尼亚语、希腊语、印地语、希伯来语和波斯语。

模型经过训练，可以用用户的语言进行响应。以下是西班牙语的一个示例：

pythoncochat( message=用 50 到 75 个单词写一篇关于电动汽车的产品描述)

它的响应可能是：

发现将改变您驾驶方式的电动汽车。凭借其优雅的设计，这辆车提供独特的驾驶体验，具有强劲的加速和令人印象深刻的续航里程。其先进技术保障快速充电和无与伦比的可靠性。凭借创新和可持续的设计，这辆车非常适合城市通勤和长途旅行。享受宁静的驾驶，体验电动汽车的乐趣！

Command R/R 还可以执行跨语言任务，例如翻译或回答有关其他语言内容的问题。

与文档聊天RAG

Command R/R 能在生成响应时基于提供的文档片段生成内容，并在响应中包含引用，指明信息来源。

例如，以下代码片段产生了对“马里亚纳海沟有多深？”的答案，并根据提供的在线文档包含了内联引用。

请求：

pythonmessage=马里亚纳海沟有多深documents = [ { id nationalgeographiceverest title 珠穆朗玛峰的高度 snippet 珠穆朗玛峰的高度为 29035 英尺 url https//educationnationalgeographicorg/resource/mounteverest/ } { id nationalgeographicmariana title 马里亚纳海沟的深度 snippet 马里亚纳海沟的深度为 36070 英尺 url https//wwwnationalgeographicorg/activity/marianatrenchdeepestplaceearth }]

response = cochat(message=message documents=documents stream=False)

响应：

json{ text 马里亚纳海沟的深度为 36070 英尺。 citations [ {start 30 end 41 text 36070 英尺。 documentids [nationalgeographicmariana]} ] documents [ {id nationalgeographicmariana snippet 马里亚纳海沟的深度为 36070 英尺 title 马里亚纳海沟的深度 urlhttps//wwwnationalgeographicorg/activity/marianatrenchdeepestplaceearth} ]}

单步骤和多步骤工具使用

Command R/R 附带一个工具使用 API，使语言模型能够与用户定义的工具交互，以自动化复杂任务。Command R/R 在工具使用模式下根据用户交互和对话历史创建 API 负载带有特定参数的 JSON。这些可以用来指示任何其他应用程序或工具。

例如，可以指示应用程序自动分类和路由支持票据到合适的个人，变更客户关系管理CRM软件中的状态，或从向量数据库中检索相关片段。该功能分为两种变体：单步骤和多步骤：

要深入了解这些能力，您可以参考提供的 Jupyter 笔记本 和 Cohere 的 AWS GitHub 仓库，其中提供了展示各种用例和应用的额外示例。

清理资源

在您完成运行笔记本和探索 Cohere Command R 和 R 模型后，重要的是清理您创建的资源，以避免产生不必要的费用。请按照以下步骤删除资源并停止计费：

pythoncodeleteendpoint()coclose()

结论

在这篇文章中，我们探讨了如何利用 Cohere 的 Command R 和 R 模型在 Amazon SageMaker JumpStart 上的强大功能。这些最先进的大型语言模型专门设计用于在现实世界的企业用例中表现卓越，提供无与伦比的性能和可扩展性。通过在 SageMaker JumpStart 和 AWS Marketplace 上的可用性，您现在可以无缝访问这些尖端模型，从而在自然语言处理项目中解锁新的生产力和创新水平。

作者简介

Pradeep Prabhakaran 是 Cohere 的客户解决方案架构师。在 Cohere 的角色中，Pradeep 作为客户和合作伙伴的可信技术顾问，提供指导和策略，帮助他们充分发挥 Cohere 最前沿生成式 AI 平台的潜力。在加入 Cohere 之前，Pradeep 曾担任亚马逊网络服务公司的首席客户解决方案经理，负责大型企业的企业云转型计划。在加入 AWS 之前，Pradeep 曾在 Slalom、德勤和 Wipro 等咨询公司担任过多种领导职务。Pradeep 拥有工程学学士学位，常驻德克萨斯州达拉斯市。

James Yi 是亚马逊网络服务的高级 AI/ML 合作伙伴解决方案架构师。他负责 AWS 在新兴技术领域的战略合作伙伴关系，引导工程团队设计和开发尖端的联合解决方案。在领域和技术团队中，他使得无缝部署、操作、安全和集成合作伙伴解决方案在 AWS 上成为可能。James 与业务领导密切合作，以定义和执行联合市场推广策略，从而推动基于云的业务增长。工作之余，他喜欢踢足球、旅行，并与家人共度时光。