Notifications d'exécution du service de transfert de données BigQuery

Cette page vous offre un aperçu des notifications d'exécution du Service de transfert de données BigQuery.

Il existe deux types de notifications d'exécution que vous pouvez configurer pour le Service de transfert de données BigQuery :

• Les notifications Pub/Sub : notifications exploitables par un ordinateur qui sont envoyées lorsqu'une exécution de transfert réussit ou échoue.
• Les notifications par e-mail : notifications lisibles par un humain qui sont envoyées lorsqu'une exécution de transfert échoue.

Vous pouvez configurer chaque type individuellement, ou utiliser à la fois les notifications d'exécution Pub/Sub et celles par e-mail.

Notifications Pub/Sub

Les notifications Pub/Sub envoient des informations sur les exécutions de transfert à un sujet Pub/Sub. Les notifications Pub/Sub sont déclenchées par des transferts terminés dans les états suivants :

• SUCCEEDED
• FAILED
• CANCELLED

Vous pouvez envoyer des notifications à n'importe quel sujet Pub/Sub dans un projet pour lequel vous disposez des autorisations suffisantes. Une fois reçu par le sujet Pub/Sub, le message peut être envoyé à n'importe quel nombre d'abonnés au sujet.

Avant de commencer

Avant de configurer les notifications d'exécution de transfert Pub/Sub, vous devez :

1. Activer l'API Pub/Sub pour le projet qui recevra les notifications.

   Activer l'API

2. Disposer des autorisations suffisantes sur le projet qui recevra les notifications :

   • Si vous êtes propriétaire du projet qui recevra les notifications, vous disposez probablement des autorisations nécessaires.

   • Si vous prévoyez de créer des sujets pour recevoir des notifications, vous devez disposer des autorisations pubsub.topics.create.

   • Si vous prévoyez ou non d'utiliser des sujets nouveaux ou existants, vous devez disposer des autorisations pubsub.topics.getIamPolicy et pubsub.topics.setIamPolicy. Si vous créez un sujet, vous disposez généralement déjà des autorisations nécessaires. Le rôle Cloud IAM prédéfini suivant inclut les autorisations pubsub.topics.getIamPolicy et pubsub.topics.setIamPolicy : pubsub.admin. Consultez la page Contrôle des accès Pub/Sub pour plus d'informations.

3. Disposez d'un sujet Pub/Sub existant auquel vous souhaitez envoyer des notifications.

Format des notifications

Les notifications envoyées au sujet Pub/Sub comprennent deux parties :

• Attributs : ensemble de paires valeur/clé décrivant l'événement
• Charge utile : chaîne contenant les métadonnées de l'objet modifié.

Attributs

Les attributs sont des paires valeur/clé présentes dans toutes les notifications que le service de transfert de données BigQuery envoie à votre sujet Pub/Sub. Les notifications comportent toujours l'ensemble de paires valeur/clé suivant, quelle que soit leur charge utile.

Charge utile

La charge utile est une chaîne contenant les métadonnées de l'exécution du transfert. Le type de charge utile n'est pas configurable pour le moment. Il est fourni pour prendre en charge les modifications de la future version de l'API.

Notifications par e-mail

Les notifications par e-mail envoient des e-mails lisibles par un humain lorsqu'une exécution de transfert échoue. Ces messages sont envoyés à l'adresse e-mail de l'administrateur de transfert, qui est le compte qui a configuré le transfert. Vous ne pouvez pas configurer le contenu du message ni configurer le destinataire du message.

Si vous avez utilisé un compte de service pour authentifier une configuration de transfert, vous n'avez peut-être pas accès à l'e-mail pour recevoir les e-mails de notification d'exécution de transfert. Dans ce cas, nous vous recommandons de configurer des notifications Pub/Sub pour recevoir des notifications d'exécution de transfert.

Pour envoyer des notifications d'exécution de transfert par e-mail à d'autres utilisateurs, configurez des règles de transfert d'e-mails pour diffuser les e-mails. Si vous utilisez Gmail, vous pouvez transférer automatiquement les messages Gmail vers un autre compte.

La notification par e-mail est envoyée par le Service de transfert de données BigQuery et contient des détails sur la configuration du transfert, l'exécution du transfert ainsi qu'un lien vers l'historique de l'exécution ayant échoué. Exemple :

From: [email protected]
To: TRANSFER_ADMIN
Title: BigQuery Data Transfer Service — Transfer Run Failure —
DISPLAY_NAME

Transfer Configuration
Display Name: DISPLAY_NAME
Source: DATA_SOURCE
Destination: PROJECT_ID

Run Summary
Run: RUN_NAME
Schedule Time: SCHEDULE_TIME
Run Time: RUN_TIME
View Run History


Google LLC 1600 Amphitheatre Parkway, Mountain View, CA 94043

This email was sent because you indicated you are willing to receive Run
Notifications from the BigQuery Data Transfer Service. If you do not wish to
receive such emails in the future, click View Transfer Configuration and
un-check the "Send E-mail Notifications" option.

Activer ou modifier les notifications

Pour activer les notifications ou en modifier une, procédez comme suit :

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to get run notification
public class RunNotification {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    final String datasetId = "MY_DATASET_ID";
    final String pubsubTopicName = "MY_TOPIC_NAME";
    final String query =
        "SELECT CURRENT_TIMESTAMP() as current_time, @run_time as intended_run_time, "
              "@run_date as intended_run_date, 17 as some_integer";
    Map<String, Value> params = new HashMap<>();
    params.put("query", Value.newBuilder().setStringValue(query).build());
    params.put(
        "destination_table_name_template",
        Value.newBuilder().setStringValue("my_destination_table_{run_date}").build());
    params.put("write_disposition", Value.newBuilder().setStringValue("WRITE_TRUNCATE").build());
    params.put("partitioning_field", Value.newBuilder().build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Scheduled Query Name")
            .setDataSourceId("scheduled_query")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .setSchedule("every 24 hours")
            .setNotificationPubsubTopic(pubsubTopicName)
            .build();
    runNotification(projectId, transferConfig);
  }

  public static void runNotification(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient dataTransferServiceClient = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = dataTransferServiceClient.createTransferConfig(request);
      System.out.println(
          "\nScheduled query with run notification created successfully :"   config.getName());
    } catch (ApiException ex) {
      System.out.print("\nScheduled query with run notification was not created."   ex.toString());
    }
  }
}

transfer_config_name = "projects/1234/locations/us/transferConfigs/abcd"
pubsub_topic = "projects/PROJECT-ID/topics/TOPIC-ID"
from google.cloud import bigquery_datatransfer
from google.protobuf import field_mask_pb2

transfer_client = bigquery_datatransfer.DataTransferServiceClient()

transfer_config = bigquery_datatransfer.TransferConfig(name=transfer_config_name)
transfer_config.notification_pubsub_topic = pubsub_topic
update_mask = field_mask_pb2.FieldMask(paths=["notification_pubsub_topic"])

transfer_config = transfer_client.update_transfer_config(
    {"transfer_config": transfer_config, "update_mask": update_mask}
)

print(f"Updated config: '{transfer_config.name}'")
print(f"Notification Pub/Sub topic: '{transfer_config.notification_pubsub_topic}'")

Tarifs de la notification d'exécution

Si vous configurez les notifications d'exécution Pub/Sub, vous devrez payer des frais Pub/Sub. Pour plus d'informations, consultez la page des Tarifs Pub/Sub.

Étapes suivantes

• En savoir plus sur Pub/Sub
• En savoir plus sur la création de sujets Pub/Sub
• Obtenez plus d'informations sur le Service de transfert de données BigQuery.