Obiettivi
Questo tutorial illustra i passaggi seguenti utilizzando Spanner Proxy locale PGAdapter per i driver PostgreSQL:
- Creare un'istanza e un database Spanner.
- Scrivere, leggere ed eseguire query SQL sui dati nel database.
- Aggiorna lo schema del database.
- Aggiornare i dati utilizzando una transazione di lettura/scrittura.
- Aggiungi un indice secondario al database.
- Utilizza l'indice per leggere ed eseguire query SQL sui dati.
- Recupera i dati utilizzando una transazione di sola lettura.
Costi
Questo tutorial utilizza Spanner, che è un componente fatturabile del in Google Cloud. Per informazioni sul costo di utilizzo di Spanner, consulta Prezzi.
Prima di iniziare
Completa i passaggi descritti in Configurazione, che trattano la creazione e impostare un progetto Google Cloud predefinito, abilitare la fatturazione, abilitare l'API Cloud Spanner e la configurazione di OAuth 2.0 per recuperare le credenziali di autenticazione da utilizzare l'API Cloud Spanner.
In particolare, assicurati di eseguire gcloud auth
application-default login
per configurare l'ambiente di sviluppo locale con l'autenticazione
e credenziali.
Prepara l'ambiente PGAdapter locale
Puoi usare driver PostgreSQL in combinazione con PGAdapter per la connessione a Spanner. PGAdapter è un proxy locale che converte il protocollo di rete PostgreSQL Protocollo gRPC Spanner.
PGAdapter richiede Java o Docker per l'esecuzione.
Installa uno degli elementi seguenti sul tuo computer di sviluppo se nessuna di queste è già installata:
Clona il repository dell'app di esempio nella tua macchina locale:
git clone https://github.com/GoogleCloudPlatform/pgadapter.git
Passa alla directory che contiene il codice campione di Spanner:
psql
cd pgadapter/samples/snippets/psql-snippets
Java
cd pgadapter/samples/snippets/java-snippets mvn package -DskipTests
Vai
cd pgadapter/samples/snippets/golang-snippets
Node.js
cd pgadapter/samples/snippets/nodejs-snippets npm install
Python
cd pgadapter/samples/snippets/python-snippets python -m venv ./venv pip install -r requirements.txt cd samples
C#
cd pgadapter/samples/snippets/dotnet-snippets
Crea un'istanza
Quando utilizzi Spanner per la prima volta, devi creare un'istanza, ovvero delle risorse usate dai database Spanner. Quando Quando crei un'istanza, scegli una configurazione dell'istanza, che determina dove sono archiviati i dati e il numero di nodi da utilizzare, che determina e la quantità di risorse di servizio e archiviazione nell'istanza.
Esegui questo comando per creare un'istanza Spanner nella regione
us-central1
con 1 nodo:
gcloud spanner instances create test-instance --config=regional-us-central1 \
--description="Test Instance" --nodes=1
Tieni presente che viene creata un'istanza con le seguenti caratteristiche:
- ID istanza
test-instance
- Nome visualizzato
Test Instance
- Configurazione istanza
regional-us-central1
(archivio configurazioni regionali i dati in una regione, mentre le configurazioni multiregionali distribuiscono i dati in più regioni. Per ulteriori informazioni, consulta Informazioni sulle istanze. - Conteggio dei nodi pari a 1 (
node_count
corrisponde alla quantità di pubblicazione e archiviazione e le risorse disponibili per i database nell'istanza. Scopri di più in Nodi e unità di elaborazione.
Dovresti vedere:
Creating instance...done.
Esamina i file di esempio
Il repository di esempi contiene un esempio che mostra come utilizzare Spanner con PGAdapter.
Dai un'occhiata alla cartellasamples/snippets
, che mostra come utilizzare
Spanner. Il codice mostra come creare e utilizzare un nuovo database. I dati
utilizza lo schema di esempio mostrato
Pagina Schema e modello dei dati.
Avvia PGAdapter
Avvia PGAdapter sulla tua macchina di sviluppo locale e indirizzalo al che hai creato.
I seguenti comandi presuppongono che tu abbia eseguito
gcloud auth application-default login
.
Applicazione Java
wget https://storage.googleapis.com/pgadapter-jar-releases/pgadapter.tar.gz \
&& tar -xzvf pgadapter.tar.gz
java -jar pgadapter.jar -i test-instance
Docker
docker pull gcr.io/cloud-spanner-pg-adapter/pgadapter
docker run \
--name pgadapter \
--rm -d -p 5432:5432 \
-v "$HOME/.config/gcloud":/gcloud:ro \
--env CLOUDSDK_CONFIG=/gcloud \
gcr.io/cloud-spanner-pg-adapter/pgadapter \
-i test-instance -x
Emulatore
docker pull gcr.io/cloud-spanner-pg-adapter/pgadapter-emulator
docker run \
--name pgadapter-emulator \
--rm -d \
-p 5432:5432 \
-p 9010:9010 \
-p 9020:9020 \
gcr.io/cloud-spanner-pg-adapter/pgadapter-emulator
Questo avvia PGAdapter con uno Spanner incorporato un emulatore. Questo emulatore incorporato crea automaticamente qualsiasi Spanner un'istanza o un database a cui ti connetti senza dover creare manualmente in anticipo.
Ti consigliamo di eseguire PGAdapter in produzione come sidecar container o come dipendenza in-process. Per ulteriori informazioni sul deployment, PGAdapter in produzione; vedi Scegli un metodo per eseguire PGAdapter.
Crea un database
Crea un database denominato example-db
nell'istanza denominata test-instance
da
eseguendo sulla riga di comando il comando riportato di seguito.
gcloud spanner databases create example-db --instance=test-instance \
--database-dialect=POSTGRESQL
Dovresti vedere:
Creating database...done.
Creare tabelle
Il codice seguente crea due tabelle nel database.
psql
Java
Vai
Node.js
Python
C#
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./create_tables.sh example-db
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar createtables example-db
Vai
go run sample_runner.go createtables example-db
Node.js
npm start createtables example-db
Python
python create_tables.py example-db
C#
dotnet run createtables example-db
Il passaggio successivo è scrivere dati nel database.
Crea una connessione
Prima di poter eseguire operazioni di lettura o scrittura, devi creare una connessione a PGAdapter. Tutte le interazioni con Spanner devono tramite unConnection
. Il nome del database è specificato nella stringa di connessione.
psql
Java
Vai
Node.js
Python
C#
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./create_connection.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar createconnection example-db
Vai
go run sample_runner.go createconnection example-db
Node.js
npm start createconnection example-db
Python
python create_connection.py example-db
C#
dotnet run createconnection example-db
Scrivi dati con DML
Puoi inserire dati utilizzando DML (Data Manipulation Language) in un ambiente transazione.
Questi esempi mostrano come eseguire un'istruzione DML su Spanner utilizzando un driver PostgreSQL.
psql
Java
Vai
Node.js
Python
C#
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./write_data_with_dml.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar writeusingdml example-db
Vai
go run sample_runner.go writeusingdml example-db
Node.js
npm start writeusingdml example-db
Python
python write_data_with_dml.py example-db
C#
dotnet run writeusingdml example-db
Dovresti vedere la seguente risposta:
4 records inserted.
Scrivere dati con un batch DML
PGAdapter supporta l'esecuzione di batch DML. Invio di più file DML in un batch riduce il numero di round trip a e migliora le prestazioni dell'applicazione.
psql
Java
Vai
Node.js
Python
C#
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./write_data_with_dml_batch.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar writeusingdmlbatch example-db
Vai
go run sample_runner.go writeusingdmlbatch example-db
Node.js
npm start writeusingdmlbatch example-db
Python
python write_data_with_dml_batch.py example-db
C#
dotnet run writeusingdmlbatch example-db
Dovresti vedere:
3 records inserted.
Scrivere dati con mutazioni
Puoi anche inserire i dati utilizzando le mutazioni.
PGAdapter traduce il comando PostgreSQL COPY
in
mutazioni. L'utilizzo di COPY
è il modo più efficiente per inserire rapidamente i dati
del tuo database Spanner.
Per impostazione predefinita, le operazioni COPY
sono atomiche. Operazioni atomiche attive
Spanner è vincolato dal limite delle dimensioni del commit.
Per ulteriori informazioni, consulta il limite di CRUD.
Questi esempi mostrano come eseguire un'operazione COPY
non atomica. Ciò consente
l'operazione COPY
per superare il limite di dimensioni del commit.
psql
Java
Vai
Node.js
Python
C#
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./write_data_with_copy.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar write example-db
Vai
go run sample_runner.go write example-db
Node.js
npm start write example-db
Python
python write_data_with_copy.py example-db
C#
dotnet run write example-db
Dovresti vedere:
Copied 5 singers
Copied 5 albums
Eseguire query sui dati utilizzando SQL
Spanner supporta un'interfaccia SQL per la lettura dei dati, che puoi l'accesso dalla riga di comando utilizzando Google Cloud CLI in modo programmatico un driver PostgreSQL.
Nella riga di comando
Esegui questa istruzione SQL per leggere i valori di tutte le colonne dalla
Tabella Albums
:
gcloud spanner databases execute-sql example-db --instance=test-instance \
--sql='SELECT singer_id, album_id, album_title FROM albums'
Il risultato dovrebbe essere:
SingerId AlbumId AlbumTitle
1 1 Total Junk
1 2 Go, Go, Go
2 1 Green
2 2 Forever Hold Your Peace
2 3 Terrified
Utilizza un driver PostgreSQL
Oltre a eseguire un'istruzione SQL sulla riga di comando, puoi inviare la stessa istruzione SQL in modo programmatico usando un driver PostgreSQL.
psql
Java
Vai
Node.js
Python
C#
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./query_data.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar query example-db
Vai
go run sample_runner.go query example-db
Node.js
npm start query example-db
Python
python query_data.py example-db
C#
dotnet run query example-db
Dovresti vedere il seguente risultato:
1 1 Total Junk
1 2 Go, Go, Go
2 1 Green
2 2 Forever Hold Your Peace
2 3 Terrified
Query utilizzando un parametro SQL
Se la tua applicazione ha una query eseguita di frequente, puoi migliorarne le prestazioni parametrizzandolo. La query parametrica risultante può essere memorizzata nella cache e riutilizzata, riduce i costi di compilazione. Per ulteriori informazioni, vedi Utilizza parametri di ricerca per velocizzare le query eseguite di frequente.
Ecco un esempio di utilizzo di un parametro nella clausola WHERE
per
record di query contenenti un valore specifico per LastName
.
psql
Java
Vai
Node.js
Python
C#
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./query_data_with_parameter.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar querywithparameter example-db
Vai
go run sample_runner.go querywithparameter example-db
Node.js
npm start querywithparameter example-db
Python
python query_data_with_parameter.py example-db
C#
dotnet run querywithparameter example-db
Dovresti vedere il seguente risultato:
12 Melissa Garcia
Aggiorna lo schema del database
Supponi di dover aggiungere una nuova colonna denominata MarketingBudget
a Albums
tabella. L'aggiunta di una nuova colonna a una tabella esistente richiede un aggiornamento delle
schema del database. Spanner supporta gli aggiornamenti dello schema di un database, mentre
continua a gestire traffico. Gli aggiornamenti dello schema non richiedono
il database è offline e non bloccano intere tabelle o colonne; puoi continuare
dei dati nel database durante l'aggiornamento dello schema. Scopri di più sui servizi supportati
degli aggiornamenti dello schema e delle relative prestazioni in
Aggiorna lo schema.
Aggiungi una colonna
Puoi aggiungere una colonna nella riga di comando utilizzando Google Cloud CLI oppure in modo programmatico un driver PostgreSQL.
Nella riga di comando
Utilizza il seguente comando ALTER TABLE
per
aggiungi la nuova colonna alla tabella:
gcloud spanner databases ddl update example-db --instance=test-instance \
--ddl='ALTER TABLE albums ADD COLUMN marketing_budget BIGINT'
Dovresti vedere:
Schema updating...done.
Utilizza un driver PostgreSQL
Eseguire l'istruzione DDL utilizzando un driver PostgreSQL per modificare schema:
psql
Java
Vai
Node.js
Python
C#
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./add_column.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar addmarketingbudget example-db
Vai
go run sample_runner.go addmarketingbudget example-db
Node.js
npm start addmarketingbudget example-db
Python
python add_column.py example-db
C#
dotnet run addmarketingbudget example-db
Dovresti vedere:
Added marketing_budget column
Esegui un batch DDL
Ti consigliamo di eseguire più modifiche dello schema in un unico batch.
Puoi eseguire più istruzioni DDL in un batch utilizzando
di batch del driver PostgreSQL, inviando tutti i file DDL
come una stringa SQL separata da punti e virgola oppure utilizzando
Estratti conto START BATCH DDL
e RUN BATCH
.
psql
Java
Vai
Node.js
Python
C#
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./ddl_batch.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar ddlbatch example-db
Vai
go run sample_runner.go ddlbatch example-db
Node.js
npm start ddlbatch example-db
Python
python ddl_batch.py example-db
C#
dotnet run ddlbatch example-db
Dovresti vedere:
Added venues and concerts tables
Scrivi i dati nella nuova colonna
Il seguente codice scrive i dati nella nuova colonna. Imposta MarketingBudget
su
100000
per la riga con chiave Albums(1, 1)
e in 500000
per la riga con chiave
di Albums(2, 2)
.
COPY
in
mutazioni. I comandi COPY
vengono tradotti per impostazione predefinita in mutazioni Insert
.
Esegui set spanner.copy_upsert=true
per tradurre i comandi COPY
in
Mutazioni InsertOrUpdate
. Può essere usato per aggiornare i dati esistenti in
Spanner.
psql
Java
Vai
Node.js
Python
C#
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./update_data_with_copy.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar update example-db
Vai
go run sample_runner.go update example-db
Node.js
npm start update example-db
Python
python update_data_with_copy.py example-db
C#
dotnet run update example-db
Dovresti vedere:
Updated 2 albums
Puoi anche eseguire una query SQL per recuperare i valori che hai appena scritto.
Ecco il codice per eseguire la query:
psql
Java
Vai
Node.js
Python
C#
Esegui la query con questo comando:
psql
PGDATABASE=example-db ./query_data_with_new_column.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar querymarketingbudget example-db
Vai
go run sample_runner.go querymarketingbudget example-db
Node.js
npm start querymarketingbudget example-db
Python
python query_data_with_new_column.py example-db
C#
dotnet run querymarketingbudget example-db
Dovresti vedere:
1 1 100000
1 2 null
2 1 null
2 2 500000
2 3 null
Aggiorna dati
Puoi aggiornare i dati utilizzando DML in una transazione di lettura/scrittura.
psql
Java
Vai
Node.js
Python
C#
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./update_data_with_transaction.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar writewithtransactionusingdml example-db
Vai
go run sample_runner.go writewithtransactionusingdml example-db
Node.js
npm start writewithtransactionusingdml example-db
Python
python update_data_with_transaction.py example-db
C#
dotnet run writewithtransactionusingdml example-db
Dovresti vedere:
Transferred marketing budget from Album 2 to Album 1
Tag di transazione e di richiesta
Utilizzare i tag di transazione e di richiesta
per risolvere i problemi
di transazioni e query in Spanner. Puoi impostare
tag di transazione e tag di richiesta con SPANNER.TRANSACTION_TAG
e
SPANNER.STATEMENT_TAG
variabili di sessione.
psql
Java
Vai
Node.js
Python
C#
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./tags.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar tags example-db
Vai
go run sample_runner.go tags example-db
Node.js
npm start tags example-db
Python
python tags.py example-db
C#
dotnet run tags example-db
Recuperare i dati utilizzando le transazioni di sola lettura
Supponiamo di voler eseguire più di una lettura per lo stesso timestamp. Sola lettura
transazioni osservano una coerenza
della cronologia di commit delle transazioni, in modo che l'applicazione
la coerenza dei dati.
Imposta la connessione su sola lettura o utilizza l'SQL SET TRANSACTION READ ONLY
per eseguire una transazione di sola lettura.
Di seguito viene illustrato come eseguire una query ed eseguire una lettura nella stessa sessione transazione:
psql
Java
Vai
Node.js
Python
C#
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./read_only_transaction.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar readonlytransaction example-db
Vai
go run sample_runner.go readonlytransaction example-db
Node.js
npm start readonlytransaction example-db
Python
python read_only_transaction.py example-db
C#
dotnet run readonlytransaction example-db
Dovresti visualizzare un output simile al seguente:
1 1 Total Junk
1 2 Go, Go, Go
2 1 Green
2 2 Forever Hold Your Peace
2 3 Terrified
2 2 Forever Hold Your Peace
1 2 Go, Go, Go
2 1 Green
2 3 Terrified
1 1 Total Junk
Query partizionate e Data Boost
La partitionQuery
L'API divide una query in parti più piccole, o partizioni, e utilizza più
per recuperare le partizioni in parallelo. Ogni partizione è identificata da una
di partizione. L'API PartitionQuery ha una latenza più elevata rispetto a quella standard
in quanto destinata esclusivamente a operazioni in blocco come l'esportazione o
con la scansione dell'intero database.
Aumento dati consente di eseguire query di analisi ed esportazioni dei dati quasi azzerate sui carichi di lavoro esistenti sull'istanza Spanner di cui è stato eseguito il provisioning. Data Boost supporta solo le query partizionate.
psql
Java
Vai
Node.js
Python
C#
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./data_boost.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar databoost example-db
Vai
go run sample_runner.go databoost example-db
Node.js
npm start databoost example-db
Python
python data_boost.py example-db
C#
dotnet run databoost example-db
Per ulteriori informazioni sull'esecuzione di query partizionate e sull'utilizzo di Data Boost con PGAdapter, consulta: Data Boost e istruzioni per le query partizionate
DML partizionato
DML (Partitioned Data Manipulation Language) è progettata per i seguenti tipi di aggiornamenti ed eliminazioni collettive:
- Pulizia periodica e garbage collection.
- Backfill di nuove colonne con valori predefiniti.
psql
Java
Vai
Node.js
Python
C#
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./partitioned_dml.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar partitioneddml example-db
Vai
go run sample_runner.go partitioneddml example-db
Node.js
npm start partitioneddml example-db
Python
python partitioned_dml.py example-db
C#
dotnet run datpartitioneddmlboost example-db
Esegui la pulizia
Per evitare che al tuo account di fatturazione Cloud vengano addebitati costi aggiuntivi per usate in questo tutorial, elimina il database ed elimina l'istanza che hai creato.
Elimina il database
Se elimini un'istanza, tutti i database al suo interno vengono eliminati automaticamente. Questo passaggio mostra come eliminare un database senza eliminare un'istanza (dovresti sono comunque addebitati costi per l'istanza).
Nella riga di comando
gcloud spanner databases delete example-db --instance=test-instance
Utilizzo della console Google Cloud
Vai alla pagina Istanze Spanner nella console Google Cloud.
Fai clic sull'istanza.
Fai clic sul database che vuoi eliminare.
Nella pagina Dettagli database, fai clic su Elimina.
Conferma di voler eliminare il database e fai clic su Elimina.
Elimina l'istanza
L'eliminazione di un'istanza elimina automaticamente tutti i database creati al suo interno.
Nella riga di comando
gcloud spanner instances delete test-instance
Utilizzo della console Google Cloud
Vai alla pagina Istanze Spanner nella console Google Cloud.
Fai clic sulla tua istanza.
Fai clic su Elimina.
Conferma di voler eliminare l'istanza e fai clic su Elimina.
Passaggi successivi
Scopri come accedere a Spanner con un'istanza di una macchina virtuale.
Scopri di più sull'autorizzazione e sulle credenziali di autenticazione in Autenticazione in Cloud mediante librerie client.
Scopri di più sulle best practice per la progettazione dello schema di Spanner.