语言模型概览

您可以使用 Vertex AI PaLM API 和 Vertex AI Codey API 对 Google 的生成式 AI 语言模型进行访问、调优和部署。可使用这些语言模型通过 Vertex AI 执行各种工作流,例如使用 API 与模型进行交互并将模型部署到 Jupyter 笔记本。您还可以通过执行模型调优来针对特定应用场景自定义语言模型。本页面简要介绍了可用的语言模型、用于与模型交互的 API 以及用于自定义其行为的方法。

模型命名方案

基础模型名称包含两个组成部分:应用场景和模型大小。命名惯例为 <use case>-<model size>。例如,text-bison 表示 Bison 文本模型。

模型大小如下:

  • Unicorn:PaLM 系列中最大的模型。由于模型中嵌入了丰富的知识及其推理功能,因此 Unicorn 模型擅长处理编码和思维链 (CoT) 等复杂的任务。
  • Bison:最佳值 PaLM 模型,可处理各种语言任务,例如分类、汇总。它针对准确率和延迟时间进行了优化,并且费用合理。文本、聊天、代码和代码聊天接口可简化应用的部署和集成。
  • Gecko:适用于处理简单任务的最小且费用最低的模型。

您可以使用模型的稳定版本或最新版本。如需了解详情,请参阅模型版本和生命周期

Vertex AI PaLM API

借助 Vertex AI PaLM API,您可以访问 PaLM 2 系列模型,这些模型支持生成自然语言文本、文本嵌入和代码(我们建议使用用于生成代码的 Vertex AI Codey API)。PaLM 2 是由 Google Labs 开发的第二代开发者路径语言模型。使用 Vertex AI PaLM API,您可以利用 MLOps 工具,Vertex AI 提供的企业级安全性、隐私性、可伸缩性。

Vertex AI PaLM API 使用每个 Google Cloud 项目独有的全球发布者端点公开 PaLM 2 模型。以下是发布者模型端点的示例:

https://us-central1-aiplatform.googleapis.com/v1/projects/your_project_id/locations/us-central1/publishers/google/models/text-bison:predict

Vertex AI PaLM API 具有适用于以下 PaLM 2 模型的发布者端点:

  • text-bison:针对执行自然语言任务(例如分类、总结、摘要、内容创建和构思)进行了优化。
  • chat-bison:针对多轮聊天进行了优化,模型可以在聊天中跟踪之前的消息,并将其用作生成新回答的上下文。
  • textembedding-gecko:为给定文本生成文本嵌入。您可以将嵌入用于语义搜索、推荐、分类和离群值检测等任务。

如需详细了解这些模型,请参阅可用模型

Vertex AI Codey API

Vertex AI Codey API 经过优化,可针对多种编程语言支持代码生成、代码聊天和代码补全。Vertex AI Codey API 基于 PaLM 2 系列模型。如需了解详情,请参阅代码模型概览

提示设计

如需与 PaLM 2 等基础模型进行交互,您需要发送自然语言指令(也称为提示),以告知模型您希望它生成的内容。但是,LLM 有时可能会以不可预测的方式运行。提示设计是反复试验的迭代过程,需要一定的时间和实践才能熟练。如需了解提示设计的通用策略,请参阅提示设计简介。如需了解特定于任务的文本提示设计指导,请参阅设计文本提示

模型调优

如果您需要针对特定应用场景自定义 PaLM 2 模型,则可以使用输入和输出示例数据集对模型进行调优。经过调优的模型会自动部署到项目中的新端点以处理请求。如需详细了解模型调优,请参阅调优基础模型

后续步骤