ML.GENERATE_EMBEDDING 함수를 사용하여 텍스트 임베딩 생성

콘솔

1. BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 연결을 만들려면 add 추가를 클릭한 다음 외부 데이터 소스에 연결을 클릭합니다.

3. 연결 유형 목록에서 Vertex AI 원격 모델, 원격 함수, BigLake(Cloud 리소스)를 선택합니다.

4. 연결 ID 필드에 연결 이름을 입력합니다.

5. 연결 만들기를 클릭합니다.

6. 연결로 이동을 클릭합니다.

7. 연결 정보 창에서 나중의 단계에 사용할 서비스 계정 ID를 복사합니다.

bq

1. 명령줄 환경에서 연결을 만듭니다.

   bq mk --connection --location=REGION --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE CONNECTION_ID
   

   --project_id 매개변수는 기본 프로젝트를 재정의합니다.

   다음을 바꿉니다.

   • REGION: 연결 리전
   • PROJECT_ID: Google Cloud 프로젝트 ID
   • CONNECTION_ID: 연결의 ID

   연결 리소스를 만들면 BigQuery가 고유한 시스템 서비스 계정을 만들고 이를 연결에 연계합니다.

   문제 해결: 다음 연결 오류가 발생하면 Google Cloud SDK를 업데이트하세요.

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. 이후 단계에서 사용할 수 있도록 서비스 계정 ID를 가져와 복사합니다.

   bq show --connection PROJECT_ID.REGION.CONNECTION_ID
   

   출력은 다음과 비슷합니다.

   name                          properties
   1234.REGION.CONNECTION_ID     {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
   

Terraform

main.tf 파일에 다음 섹션을 추가합니다.

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

• CONNECTION_ID: 연결의 ID
• PROJECT_ID: Google Cloud 프로젝트 ID
• REGION: 연결 리전

콘솔

1. IAM 및 관리자 페이지로 이동합니다.

   IAM 및 관리자로 이동

2. person_add 액세스 권한 부여를 클릭합니다.

   주 구성원 추가 대화상자가 열립니다.

3. 새 주 구성원 필드에 앞에서 복사한 서비스 계정 ID를 입력합니다.

4. 역할 선택 필드에서 Vertex AI를 선택한 후 Vertex AI 사용자를 선택합니다.

5. 저장을 클릭합니다.

gcloud

gcloud projects add-iam-policy-binding 명령어를 사용합니다.

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.user' --condition=None

다음을 바꿉니다.

• PROJECT_NUMBER: 프로젝트 번호
• MEMBER: 이전에 복사한 서비스 계정 ID

텍스트 임베딩

임베딩 모델을 통해 원격 모델을 사용하여 텍스트 임베딩을 생성합니다.

SELECT *
FROM ML.GENERATE_EMBEDDING(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE PROJECT_ID.DATASET_ID.TABLE_NAME,
  STRUCT(FLATTEN_JSON AS flatten_json_output,
    TASK_TYPE AS task_type,
    OUTPUT_DIMENSIONALITY AS output_dimensionality)
);

다음을 바꿉니다.

• PROJECT_ID: 프로젝트 ID
• DATASET_ID: 모델이 포함된 데이터 세트의 ID
• MODEL_NAME: 임베딩 모델을 통한 원격 모델의 이름
• TABLE_NAME: 삽입할 텍스트가 포함된 테이블의 이름. 이 테이블에는 이름이 content인 열이 있어야 합니다. 또는 별칭을 사용하여 다른 이름의 열을 사용할 수 있습니다.
• FLATTEN_JSON: 임베딩을 별도의 열로 파싱할지 여부를 나타내는 BOOL 값. 기본값은 TRUE입니다.
• TASK_TYPE: 모델이 더 나은 품질의 임베딩을 생성할 수 있도록 의도된 다운스트림 애플리케이션을 지정하는 STRING 리터럴. TASK_TYPE은 다음 값을 허용합니다.
  • RETRIEVAL_QUERY: 지정된 텍스트가 검색 또는 가져오기 설정의 쿼리임을 지정
  • RETRIEVAL_DOCUMENT: 지정된 텍스트가 검색 또는 가져오기 설정의 문서임을 지정

    이 태스크 유형을 사용할 때 임베딩 품질을 개선하기 위해 쿼리 문에 문서 제목을 포함하면 유용합니다. title 옵션을 사용해 문서 제목이 포함된 열의 이름을 지정할 수 있습니다. 그렇지 않으면 문서 제목은 title 또는 별칭이 title로 지정된 열에 있어야 합니다 예를 들면 다음과 같습니다.

          SELECT *
          FROM
            ML.GENERATE_EMBEDDING(
              MODEL mydataset.embedding_model,
              (SELECT abstract as content, header as title, publication_number
              FROM mydataset.publications),
              STRUCT(TRUE AS flatten_json_output, 'RETRIEVAL_DOCUMENT' as task_type)
          );
          

  • SEMANTIC_SIMILARITY: 지정된 텍스트를 시맨틱 텍스트 유사성(STS)에 사용하도록 지정
  • CLASSIFICATION: 임베딩이 분류에 사용되도록 지정
  • CLUSTERING: 클러스터링에 임베딩을 사용하도록 지정
• OUTPUT_DIMENSIONALITY: 임베딩을 생성할 때 사용할 차원 수를 지정하는 INT64 값입니다. 예를 들어 256 AS output_dimensionality를 지정하면 ml_generate_embedding_result 출력 열에 각 입력 값에 대한 임베딩이 256개 포함됩니다.

  model 인수에 지정하는 원격 모델에서 다음 모델 중 하나를 엔드포인트로 사용하는 경우에만 이 인수를 사용할 수 있습니다.

  • text-embedding-004 이상
  • text-multilingual-embedding-002 이상

멀티모달 임베딩

multimodalembedding 모델을 통해 원격 모델을 사용하여 텍스트 임베딩을 생성합니다.

SELECT *
FROM ML.GENERATE_EMBEDDING(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE PROJECT_ID.DATASET_ID.TABLE_NAME,
  STRUCT(FLATTEN_JSON AS flatten_json_output)
);

다음을 바꿉니다.

• PROJECT_ID: 프로젝트 ID
• DATASET_ID: 모델이 포함된 데이터 세트의 ID
• MODEL_NAME: multimodalembedding@001 모델에 대한 원격 모델의 이름
• TABLE_NAME: 삽입할 텍스트가 포함된 테이블의 이름. 이 테이블에는 이름이 content인 열이 있어야 합니다. 또는 별칭을 사용하여 다른 이름의 열을 사용할 수 있습니다.
• FLATTEN_JSON: 임베딩을 별도의 열로 파싱할지 여부를 나타내는 BOOL. 기본값은 TRUE입니다.

텍스트 임베딩

또는 임베딩 모델을 통해 원격 모델을 사용하여 텍스트 임베딩을 생성합니다.

SELECT *
FROM ML.GENERATE_EMBEDDING(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  (CONTENT_QUERY),
  STRUCT(FLATTEN_JSON AS flatten_json_output,
    TASK_TYPE AS task_type,
    OUTPUT_DIMENSIONALITY AS output_dimensionality)
  );

다음을 바꿉니다.

• PROJECT_ID: 프로젝트 ID
• DATASET_ID: 모델이 포함된 데이터 세트의 ID
• MODEL_NAME: 임베딩 모델을 통한 원격 모델의 이름
• CONTENT_QUERY: 결과에 content라는 STRING 열이 포함된 쿼리
• FLATTEN_JSON: 임베딩을 별도의 열로 파싱할지 여부를 나타내는 BOOL 값. 기본값은 TRUE입니다.
• TASK_TYPE: 모델이 더 나은 품질의 임베딩을 생성할 수 있도록 의도된 다운스트림 애플리케이션을 지정하는 STRING 리터럴. TASK_TYPE은 다음 값을 허용합니다.
  • RETRIEVAL_QUERY: 지정된 텍스트가 검색 또는 가져오기 설정의 쿼리임을 지정
  • RETRIEVAL_DOCUMENT: 지정된 텍스트가 검색 또는 가져오기 설정의 문서임을 지정

    이 태스크 유형을 사용할 때 임베딩 품질을 개선하기 위해 쿼리 문에 문서 제목을 포함하면 유용합니다. title 옵션을 사용해 문서 제목이 포함된 열의 이름을 지정할 수 있습니다. 그렇지 않으면 문서 제목은 title 또는 별칭이 title로 지정된 열에 있어야 합니다 예를 들면 다음과 같습니다.

              SELECT *
              FROM
                ML.GENERATE_EMBEDDING(
                  MODEL mydataset.embedding_model,
                  (SELECT abstract as content, header as title, publication_number
                  FROM mydataset.publications),
                  STRUCT(TRUE AS flatten_json_output, 'RETRIEVAL_DOCUMENT' as task_type)
              );
              

  • SEMANTIC_SIMILARITY: 지정된 텍스트를 시맨틱 텍스트 유사성(STS)에 사용하도록 지정
  • CLASSIFICATION: 임베딩이 분류에 사용되도록 지정
  • CLUSTERING: 클러스터링에 임베딩을 사용하도록 지정
• OUTPUT_DIMENSIONALITY: 임베딩을 생성할 때 사용할 차원 수를 지정하는 INT64 값입니다. 예를 들어 256 AS output_dimensionality를 지정하면 ml_generate_embedding_result 출력 열에 각 입력 값에 대한 임베딩이 256개 포함됩니다.

  model 인수에 지정하는 원격 모델에서 다음 모델 중 하나를 엔드포인트로 사용하는 경우에만 이 인수를 사용할 수 있습니다.

  • text-embedding-004 이상
  • text-multilingual-embedding-002 이상

멀티모달 임베딩

multimodalembedding 모델을 통해 원격 모델을 사용하여 텍스트 임베딩을 생성합니다.

SELECT *
FROM ML.GENERATE_EMBEDDING(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  (CONTENT_QUERY),
  STRUCT(FLATTEN_JSON AS flatten_json_output)
);

다음을 바꿉니다.

• PROJECT_ID: 프로젝트 ID
• DATASET_ID: 모델이 포함된 데이터 세트의 ID
• MODEL_NAME: multimodalembedding@001 모델에 대한 원격 모델의 이름
• CONTENT_QUERY: 결과에 content라는 STRING 열이 포함된 쿼리
• FLATTEN_JSON: 임베딩을 별도의 열로 파싱할지 여부를 나타내는 BOOL. 기본값은 TRUE입니다.