Programmer un transfert Comparaison Shopping Service Center

Ce document explique comment programmer et gérer des tâches de chargement récurrentes pour les données de rapports CSS Center à l'aide du service de transfert de données BigQuery.

Avant de commencer

Avant de créer un transfert de données CSS Center :

  • Activez le service de transfert de données BigQuery.
  • Créez un ensemble de données BigQuery pour stocker les données CSS Center.
    • Pour la région de l'ensemble de données, nous acceptons l'option par défaut, Multirégional, dans les États-Unis ou dans l'UE.
    • Si vous souhaitez créer un ensemble de données dans une région spécifique, le transfert de données CSS Center n'est possible que dans les régions suivantes :
    • us-east4 (Northern Virginia),
    • asia-northeast1 (Tokyo),
    • asia-southeast1 (Singapore),
    • australia-southeast1 (Sydney),
    • europe-north1 (Findland),
    • europe-west2 (London),
    • europe-west6 (Zurich).
  • Pour créer un transfert de données CSS Center, vous devez disposer de votre ID de domaine CSS.
  • Si vous avez l'intention de configurer des notifications d'exécution de transfert pour Pub/Sub, vous devez disposer des autorisations pubsub.topics.setIamPolicy. Les autorisations Pub/Sub ne sont pas nécessaires si vous ne configurez que des notifications par e-mail. Pour en savoir plus, consultez la page Notifications d'exécution du service de transfert de données BigQuery.

Autorisations requises

Assurez-vous que l'utilisateur qui crée le transfert de données dispose des autorisations requises.

Pour BigQuery :

Pour obtenir les autorisations nécessaires pour créer un transfert, demandez à votre administrateur de vous accorder le rôle IAM Administrateur BigQuery (roles/bigquery.admin). Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour créer un transfert. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour créer un transfert :

  • bigquery.transfers.update sur l'utilisateur
  • bigquery.datasets.get sur l'ensemble de données cible
  • bigquery.datasets.update sur l'ensemble de données cible

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour CSS Center :

Vous devez avoir accès au compte CSS Center utilisé dans la configuration du transfert.

Configurer un transfert CSS Center

Pour créer un transfert de données pour les rapports CSS Center :

Console

  1. Accédez à la page "Transferts de données" dans la console Google Cloud.

    Accéder à la page Transferts de données

  2. Cliquez sur Créer un transfert.

  3. Sur la page Créer un transfert :

    • Dans la section Source type (Type de source), sous Source sélectionnez Google CSS Center.

    • Dans la section Transfer config name (Nom de la configuration de transfert), sous Display name (Nom à afficher), saisissez un nom pour le transfert de données, tel que My Transfer. Ce nom peut correspondre à toute valeur permettant d'identifier le transfert si vous devez le modifier ultérieurement.

      Nom du transfert

    • La section Options de programmation n'est pas configurable. Les transferts de données CSS Center s'exécutent toutes les 24 heures.

    • Dans la section Destination settings (Paramètres de destination), pour le champ Destination dataset (Ensemble de données de destination), choisissez l'ensemble de données que vous avez créé pour stocker vos données.

    • Dans la section Data Source Details (Détails de la source de données), sous CSS ID (ID CSS), saisissez votre ID de domaine CSS.

      Sélectionnez le ou les rapports que vous souhaitez transférer. Voir Rapports acceptés pour plus de détails.

      Données de transfert de CSS Center

    • (Facultatif) Dans la section Notification options (Options de notification) :

      • Cliquez sur le bouton pour activer les notifications par e-mail. Lorsque vous activez cette option, l'administrateur de transfert reçoit une notification par e-mail en cas d'échec de l'exécution du transfert.
      • Pour le champ Select a Pub/Sub topic (Sélectionner un sujet Pub/Sub), choisissez le nom de votre sujet ou cliquez sur Create a topic (Créer un sujet). Cette option configure les notifications d'exécution Pub/Sub pour votre transfert de données.

  4. Cliquez sur Enregistrer.

bq

Saisissez la commande bq mk, puis spécifiez l'indicateur de création de transfert --transfer_config. Les paramètres suivants sont également requis :

  • --data_source
  • --target_dataset
  • --display_name
  • --params

Vous pouvez également indiquer l'option --project_id pour spécifier un projet particulier. Si --project_id n'est pas spécifié, le projet par défaut est utilisé.

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Où :

  • project_id est l'ID de votre projet.
  • dataset est l'ensemble de données cible de la configuration de transfert de données.
  • name est le nom à afficher pour la configuration du transfert de données. Ce nom peut correspondre à toute valeur permettant d'identifier le transfert si vous devez le modifier ultérieurement.
  • parameters contient les paramètres de la configuration de transfert de données créée au format JSON. Exemple : --params='{"param":"param_value"}'.
    • css_id : ID de domaine CSS.
    • export_products : indique si les données du produit et des problèmes de produit doivent être transférées. Ce paramètre est inclus par défaut, même si vous ne spécifiez pas le paramètre export_products. Nous vous recommandons d'inclure ce paramètre explicitement et de le définir sur true.
  • data_source correspond à la source de données : css_center.

Par exemple, la commande suivante crée un transfert de données CSS Center nommé My Transfer avec l'ID de domaine CSS 1234 et l'ensemble de données cible mydataset. Le transfert de données est créé dans votre projet par défaut.

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"css_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=css_center

La première fois que vous exécutez la commande, vous recevez un message de ce type :

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Suivez les instructions du message et collez le code d'authentification sur la ligne de commande.

API

Utilisez la méthode projects.locations.transferConfigs.create et fournissez une instance de la ressource TransferConfig.