TensorFlow Lite 概览

TensorFlow Lite 支持适用于移动设备和 嵌入式设备你可以找到适用于各种语言的现成 TensorFlow Lite 模型， 一系列机器学习/AI 任务，也可以转换并运行 TensorFlow、PyTorch 和 JAX 模型， 使用 AI Edge 转换和优化工具对 TFLite 格式进行优化。

主要特性

  • 已针对设备端机器学习进行优化：TensorFlow Lite 支持五个 关键的 ODML 限制：延迟时间（无需往返服务器）、隐私性 （没有个人数据会离开设备）、连接（互联网连接 不需要）、尺寸（缩减的模型和二进制文件大小）和功耗 （高效推理和缺少网络连接）。

  • 多平台支持：与 Android 和 iOS 设备，嵌入式 Linux 和 微控制器。

  • 多框架模型选项：AI Edge 提供了用于转换模型的工具 转换为 FlatBuffers 格式 (.tflite)，让您可以在 Vertex AI Pipelines SDK 中使用各种先进的模型， TF Lite。您还可以使用模型优化工具来 量化和元数据。

  • 支持多种语言：包括适用于 Java/Kotlin、Swift、 Objective-C、C 和 Python。

  • 高性能：硬件加速 通过 GPU 和 iOS Core ML 等专业代理来实现。

开发工作流

TensorFlow Lite 开发工作流涉及识别机器学习/AI 问题， 选择解决该问题的模型，并在设备端实现该模型。 以下步骤将引导您完成工作流程，并提供了指向 操作说明。

1. 确定最适合机器学习问题的解决方案

TensorFlow Lite 为用户提供高度的灵活性和可定制性 因此它非常适合 需要特定模型或特殊实现的用户。用户 希望寻找即插即用解决方案的用户可能更倾向于 MediaPipe Tasks：提供 针对常见机器学习任务的现成解决方案，例如对象检测、 文本分类和 LLM 推理。

请选择以下 AI Edge 框架之一：

  • TensorFlow Lite：灵活且可自定义的运行时，可以在各种环境中 各种模型。为您的用例选择一个模型，将其转换为 TensorFlow Lite 格式（如果需要），并在设备上运行。如果您希望 请继续阅读下文。
  • MediaPipe Tasks：即插即用解决方案，默认模型允许 进行自定义选择解决 AI/机器学习问题的任务 以及如何在多个平台上实施代码如果您打算使用 MediaPipe Tasks， 请参阅 MediaPipe Tasks 文档。

2. 选择模型

TensorFlow Lite 模型以高效的可移植格式表示，称为 FlatBuffers，它使用 .tflite 文件扩展名。

您可以通过以下方式使用 TensorFlow Lite 模型：

TensorFlow Lite 模型可以选择包含包含以下内容的元数据： 提供人类可读的模型说明和机器可读的数据，以便自动 在设备端推理期间生成预处理和后处理流水线。 如需了解详情，请参阅添加元数据。

3. 将模型集成到您的应用中

你可以实现自己的 TensorFlow Lite 模型， 在 Web、嵌入式和移动设备上构建设备端代码。TensorFlow Lite 包含 API 适用于 Python、Java 和 Kotlin 适用于 Android、Swift iOS 和 C （适用于微设备）。

按照以下指南在您的首选上实现 TensorFlow Lite 模型 平台：

在 Android 和 iOS 设备上，您可以使用硬件提升性能 加速。在任一平台上，您都可以使用 GPU 在 iOS 上，您可以使用 Core ML 委托。如需添加对新的硬件加速器的支持，您可以 定义您自己的委托。

您可以根据模型类型通过以下方式进行推理：

后续步骤

新用户应按照 TensorFlow Lite 快速入门开始操作。 如需了解具体信息，请参阅以下部分：

模型转化

平台指南