Caricamento dei dati dalle esportazioni Firestore

Console

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro Explorer, espandi il progetto e seleziona un set di dati.
3. Nella sezione Informazioni sul set di dati, fai clic su add_box Crea tabella.
4. Nel riquadro Crea tabella, specifica i seguenti dettagli:
1. Nella sezione Origine, seleziona Google Cloud Storage nell'elenco Crea tabella da. Poi segui questi passaggi:
   1. Seleziona un file dal bucket Cloud Storage o inserisci URI Cloud Storage. Non puoi includere più URI nella console Google Cloud, ma con i caratteri jolly sono supportati. Il bucket Cloud Storage deve trovarsi nello stesso posizione come il set di dati che contiene la tabella da creare, aggiungere o sovrascrivere.
      L'URI dell'esportazione Firestore deve terminare con KIND_COLLECTION_ID.export_metadata. Ad esempio, nel default_namespace_kind_Book.export_metadata, Book è la raccolta mentre default_namespace_kind_Book è il nome del file generato Firestore Se l'URI non termina con KIND_COLLECTION_ID.export_metadata, ricevi il seguente messaggio di errore: non contiene metadati di backup validi. (codice di errore: non valido).
   2. In Formato file, seleziona Backup Cloud Datastore. Firestore e Datastore condividono il formato di esportazione.
2. Nella sezione Destinazione, specifica i seguenti dettagli:
   .
   1. In Set di dati, seleziona il set di dati in cui creare il .
   2. Nel campo Tabella, inserisci il nome della tabella da creare.
   3. Verifica che il campo Tipo di tabella sia impostato su Tabella nativa.
3. Nella sezione Schema non è necessaria alcuna azione. Lo schema viene dedotto per Esportazione in Firestore.
4. (Facoltativo) Specifica le impostazioni di partizione e clustering. Per ulteriori informazioni, vedi Creazione di tabelle partizionate e Creazione e utilizzo di tabelle in cluster.
5. Fai clic su Opzioni avanzate ed esegui le seguenti operazioni:
   .
   • In Write preference (Preferenza di scrittura), lascia selezionata l'opzione Write if empty (Scrivi se vuoto). Questo crea una nuova tabella e carica i dati al suo interno.
   • Se vuoi ignorare i valori in una riga che non sono presenti nello schema della tabella: Seleziona Valori sconosciuti.
   • In Crittografia, fai clic su Chiave gestita dal cliente per utilizzare una Chiave Cloud Key Management Service. Se lasci l'impostazione Chiave gestita da Google, BigQuery cripta i dati at-rest.
6. Fai clic su Crea tabella.

bq

Utilizza la bq load con source_format impostato su DATASTORE_BACKUP. Fornisci il flag --location e imposta il valore su località. Se esegui l'overwiting una tabella esistente, aggiungi il flag --replace.

Per caricare solo campi specifici, utilizza il flag --projection_fields.

bq --location=LOCATION load \
--source_format=FORMAT \
DATASET.TABLE \
PATH_TO_SOURCE

Sostituisci quanto segue:

• LOCATION: la tua posizione. Il flag --location è facoltativo.
• FORMAT: DATASTORE_BACKUP. Il backup di Datastore è l'opzione corretta per Firestore. Firestore e Datastore condividono un formato di esportazione.
• DATASET: il set di dati che contiene la tabella in cui stai caricando i dati.
• TABLE: la tabella in cui stai caricando i dati. Se la tabella non esiste, viene creata.
• PATH_TO_SOURCE: il valore URI Cloud Storage.

Ad esempio, il seguente comando carica gs://mybucket/20180228T1256/default_namespace/kind_Book/default_namespace_kind_Book.export_metadata Il file di esportazione di Firestore in una tabella denominata book_data. mybucket e mydataset sono stati creati nella località multiregionale US.

bq --location=US load \
--source_format=DATASTORE_BACKUP \
mydataset.book_data \
gs://mybucket/20180228T1256/default_namespace/kind_Book/default_namespace_kind_Book.export_metadata

API

Imposta le seguenti proprietà per caricare i dati di esportazione di Firestore utilizzando l'API.

1. Crea una configurazione del job load che rimandi ai dati di origine in di archiviazione ideale in Cloud Storage.

2. Specifica la tua località nel location nella sezione jobReference della risorsa job.

3. sourceUris deve essere valido, nel formato gs://BUCKET/OBJECT nel della configurazione del job di caricamento. Il nome del file (oggetto) deve terminare con KIND_NAME.export_metadata. Un solo URI è consentito per le esportazioni Firestore e non puoi utilizzare un carattere jolly.

4. Specifica il formato dei dati impostando la proprietà sourceFormat su DATASTORE_BACKUP nella configurazione del job di caricamento. Backup di Datastore è l'opzione corretta per Firestore. Firestore Datastore condivide un formato di esportazione.

5. Per caricare solo campi specifici, imposta la proprietà projectionFields.

6. Se sovrascrivi una tabella esistente, specifica l'istruzione di scrittura impostando la proprietà writeDisposition su WRITE_TRUNCATE.

Python

# TODO(developer): Set table_id to the ID of the table to create.
table_id = "your-project.your_dataset.your_table_name"

# TODO(developer): Set uri to the path of the kind export metadata
uri = (
    "gs://cloud-samples-data/bigquery/us-states"
    "/2021-07-02T16:04:48_70344/all_namespaces/kind_us-states"
    "/all_namespaces_kind_us-states.export_metadata"
)

# TODO(developer): Set projection_fields to a list of document properties
#                  to import. Leave unset or set to `None` for all fields.
projection_fields = ["name", "post_abbr"]

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

job_config = bigquery.LoadJobConfig(
    source_format=bigquery.SourceFormat.DATASTORE_BACKUP,
    projection_fields=projection_fields,
)

load_job = client.load_table_from_uri(
    uri, table_id, job_config=job_config
)  # Make an API request.

load_job.result()  # Waits for the job to complete.

destination_table = client.get_table(table_id)
print("Loaded {} rows.".format(destination_table.num_rows))