TPU v5e
Este documento describe la arquitectura y las configuraciones admitidas de Cloud TPU v5e
TPU v5e admite el entrenamiento de uno y varios hosts, y la inferencia de uno solo. La inferencia de varios hosts es compatible con Sax. Para obtener más información, consulta Publicación de modelos de lenguaje extenso.
Arquitectura del sistema
Cada chip v5e contiene un TensorCore. Cada TensorCore tiene cuatro unidades de multiplicación de matrices (MXUs), una unidad vectorial y una unidad escalar.
En el siguiente diagrama, se ilustra un chip TPU v5e.
En la siguiente tabla, se muestran las especificaciones de los chips de claves y sus valores para la v5e.
| Especificaciones de los chips de claves | Valores de v5e |
| Procesamiento máximo por chip (bf16) | 197 TFLOPS |
| Capacidad y ancho de banda de HBM2 | 16 GB, 819 GBps |
| Interchip Interconnect BW | 1,600 Gbps |
En la siguiente tabla, se muestran las especificaciones del pod y sus valores para la versión 5e.
| Especificaciones clave del pod | Valores de la v5e |
| Tamaño del pod de TPU | 256 chips |
| Topología de interconexión | Torón 2D |
| Procesamiento máximo por Pod | 100 petaoperaciones (Int8) |
| Ancho de banda de reducción total por pod | 51.2 TB/s |
| Ancho de banda de bisección por pod | 1.6 TB/s |
| Ancho de banda de red del centro de datos por Pod | 6.4 Tbps |
Configuraciones
Cloud TPU v5e es un producto combinado de entrenamiento e inferencia (publicación). Para diferenciar entre un entorno de entrenamiento y uno de inferencia, usa las marcas AcceleratorType o AcceleratorConfig con la API de TPU o la marca --machine-type cuando crees un grupo de nodos de GKE.
Los trabajos de entrenamiento están optimizados para la capacidad de procesamiento y la disponibilidad, mientras que los trabajos de publicación están optimizados para la latencia. Un trabajo de entrenamiento en TPU aprovisionadas para la entrega podría tener menor disponibilidad y, de manera similar, un trabajo de entrega ejecutado en TPU aprovisionados para el entrenamiento podrían tener una mayor latencia.
Usas AcceleratorType para especificar la cantidad de TensorCores que deseas usar.
Debes especificar el AcceleratorType cuando creas una TPU con el
gcloud CLI o la consola de Google Cloud. El valor que
especificar para AcceleratorType es una cadena con el formato:
v$VERSION_NUMBER-$CHIP_COUNT
También puedes usar AcceleratorConfig para especificar la cantidad de TensorCores
quieren usar. Sin embargo, como no hay variantes de topología 2D personalizadas para la TPU v5e, no hay diferencia entre usar AcceleratorConfig y AcceleratorType.
Para configurar una TPU v5e con AcceleratorConfig, usa --version y el
--topology. Establece --version en la versión de TPU que deseas usar.
--topology a la disposición física de los chips TPU en la porción. El valor que especificas para AcceleratorConfig es una cadena con el formato AxB, en la que A y B son los recuentos de chips en cada dirección.
Las siguientes formas de porciones en 2D son compatibles con la v5e:
| Topología | Cantidad de chips TPU | Cantidad de hosts |
| 1x1 | 1 | 1/8 |
| 2x2 | 4 | 1/2 |
| 2x4 | 8 | 1 |
| 4x4 | 16 | 2 |
| 4x8 | 32 | 4 |
| 8x8 | 64 | 8 |
| 8x16 | 128 | 16 |
| 16x16 | 256 | 32 |
Cada VM de TPU en una porción de TPU v5e contiene 1, 4 u 8 chips. En las porciones de 4 chips y más pequeñas, todos los chips TPU comparten el mismo nodo de acceso a la memoria no uniforme (NUMA).
Para las VMs de TPU v5e de 8 chips, la comunicación entre CPU y TPU será más eficiente dentro de las particiones NUMA. Por ejemplo, en la siguiente figura, la comunicación de CPU0-Chip0 será más rápida que la de CPU0-Chip4.
Tipos de Cloud TPU v5e para la publicación
La entrega para un solo host es compatible con hasta 8 chips v5e. Lo siguiente configuraciones son compatibles: segmentos 1x1, 2x2 y 2x4. Cada porción tiene 1, 4 y 8 chips respectivamente.
Para aprovisionar TPUs para una tarea de publicación, usa uno de los siguientes tipos de aceleradores en tu solicitud de creación de TPU de la CLI o la API:
| AcceleratorType (API de TPU) | Tipo de máquina (API de GKE) |
|---|---|
v5litepod-1 |
ct5lp-hightpu-1t |
v5litepod-4 |
ct5lp-hightpu-4t |
v5litepod-8 |
ct5lp-hightpu-8t |
La entrega en más de 8 chips v5e, también llamada entrega de varios hosts, es compatible con Sax. Para obtener más información, consulta Entrega de modelos de lenguaje grande.
Tipos de Cloud TPU v5e para el entrenamiento
El entrenamiento es compatible con hasta 256 chips.
Para aprovisionar TPUs para un trabajo de entrenamiento de v5e, usa uno de los siguientes tipos de aceleradores en tu solicitud de creación de TPU de la CLI o la API:
| AcceleratorType (API de TPU) | Tipo de máquina (API de GKE) | Topología |
|---|---|---|
v5litepod-16 |
ct5lp-hightpu-4t |
4x4 |
v5litepod-32 |
ct5lp-hightpu-4t |
4x8 |
v5litepod-64 |
ct5lp-hightpu-4t |
8x8 |
v5litepod-128 |
ct5lp-hightpu-4t |
8x16 |
v5litepod-256 |
ct5lp-hightpu-4t |
16x16 |
Comparación del tipo de VM de TPU v5e:
| Tipo de VM | n2d-48-24-v5lite-tpu | n2d-192-112-v5lite-tpu | n2d-384-224-v5lite-tpu |
| Cantidad de chips v5e | 1 | 4 | 8 |
| Cantidad de CPU virtuales | 24 | 112 | 224 |
| RAM (GB) | 48 | 192 | 384 |
| Cantidad de nodos de NUMA | 1 | 1 | 2 |
| Se aplica a | v5litepod-1 | v5litepod-4 | v5litepod-8 |
| Interrupción | Alta | Medio | Low (Baja) |
Para liberar espacio para las cargas de trabajo que requieren más chips, los programadores pueden interrumpir las VMs con menos chips. Por lo tanto, es probable que las VMs de 8 chips interrumpan las de 1 y 4 chips.