- Generative KI›
- Amazon Bedrock›
- Häufig gestellte Fragen
Amazon Bedrock – Häufig gestellte Fragen
Allgemeines
Was ist Amazon Bedrock?
Amazon Bedrock ist ein vollständig verwalteter Service, der eine Auswahl an branchenführenden Basismodellen (FMs) zusammen mit einer breiten Palette an Funktionen anbietet. Diese werden für die Entwicklung von generativen KI-Anwendungen benötigt und vereinfachen die Entwicklung mit Sicherheit, Datenschutz und verantwortungsvoller KI. Mit den umfassenden Funktionen von Amazon Bedrock können Sie mit einer Vielzahl von Top-FMs experimentieren, sie mit Techniken wie Fine-Tuning und Retrieval Augmented Generation (RAG) privat an Ihre Daten anpassen und verwaltete Agenten erstellen, die komplexe Geschäftsaufgaben ausführen – von der Buchung von Reisen und der Bearbeitung von Versicherungsansprüchen bis hin zur Erstellung von Werbekampagnen und der Verwaltung von Beständen – und das alles, ohne selbst Code schreiben zu müssen. Da Amazon Bedrock Serverless ist, müssen Sie keine Infrastruktur verwalten. Sie können generative KI-Funktionen sicher in Ihre Anwendungen integrieren und bereitstellen, indem Sie die AWS-Services nutzen, mit denen Sie bereits vertraut sind.
Welche FMs sind in Amazon Bedrock verfügbar?
Kunden von Amazon Bedrock können aus einigen der modernsten FMs wählen, die derzeit erhältlich sind. Dazu gehören Sprach- und Einbettungsmodelle von:
- AI21 Labs: Jurassic – 2 Ultra, Jurassic – 2 Mid
- Anthropic: Claude 3 Opus, Claude 3 Sonnet, Claude 3 Haiku
- Cohere: Command R, Command R , Embed
- Meta: Llama 3 8B, Llama 3 70B
- Mistral AI: Mistral 8X7B Instruct, Mistral 7B Instruct, Mistral Large, Mistral Small
- Stability AI: Stable Diffusion XL 1.0
- Amazon Titan: Amazon Titan Text Premier, Amazon Titan Text Express, Amazon Titan Text Lite, Amazon Titan Text Embeddings, Amazon Titan Text Embeddings V2, Amazon Titan Multimodal Embeddings, Amazon Titan Image Generator
Warum sollte ich Amazon Bedrock verwenden?
Es gibt fünf Gründe, Amazon Bedrock für die Entwicklung generativer KI-Anwendungen zu verwenden.
- Auswahl führender FMs: Amazon Bedrock bietet ein benutzerfreundliches Entwicklererlebnis für die Arbeit mit einer breiten Palette leistungsstarker FMs von Amazon und führenden KI-Unternehmen wie AI21 Labs, Anthropic, Cohere, Meta, Mistral AI und Stability AI. Sie können schnell mit einer Vielzahl von FMs im Playground experimentieren und unabhängig von den von Ihnen gewählten Modellen eine einzige API für die Inferenz verwenden. So haben Sie die Flexibilität, FMs von verschiedenen Anbietern zu verwenden und mit den neuesten Modellversionen mit minimalen Codeänderungen auf dem Laufenden zu bleiben.
- Einfache Modellanpassung mit Ihren Daten: Passen Sie FMs über eine visuelle Oberfläche privat mit Ihren eigenen Daten an, ohne Code schreiben zu müssen. Wählen Sie einfach die in Amazon Simple Storage Service (Amazon S3) gespeicherten Trainings- und Validierungsdatensätze aus und passen Sie bei Bedarf die Hyperparameter an, um die bestmögliche Modellleistung zu erzielen.
- Vollständig verwaltete Kundendienstmitarbeiter, die APIs dynamisch aufrufen können, um Aufgaben auszuführen: Erstellen Sie Agenten, die komplexe Geschäftsaufgaben ausführen – von der Buchung von Reisen und der Bearbeitung von Versicherungsansprüchen bis hin zur Erstellung von Werbekampagnen, der Vorbereitung von Steuererklärungen und der Verwaltung Ihres Inventars – indem Sie Ihre Unternehmenssysteme und APIs dynamisch aufrufen. Vollständig verwaltete Agenten für Amazon Bedrock erweitern die Argumentationsfähigkeiten von FMs, um Aufgaben aufzuschlüsseln, einen Orchestrierungsplan zu erstellen und diesen auszuführen.
- Native Unterstützung für RAG zur Erweiterung der Leistungsfähigkeit von FMs mit proprietären Daten: Mit Knowledge Bases für Amazon Bedrock können Sie FMs sicher mit Ihren Datenquellen verbinden, um den Abruf zu erweitern – und zwar direkt aus dem verwalteten Service heraus. Damit erweitern Sie die bereits leistungsstarken Funktionen des FMs und machen es noch kompetenter in Bezug auf Ihre spezifische Branche und Ihr Unternehmen.
- Zertifizierungen für Datensicherheit und Compliance: Amazon Bedrock bietet mehrere Funktionen zur Unterstützung von Sicherheits- und Datenschutzanforderungen. Amazon Bedrock erfüllt gängige Compliance-Standards wie Service and Organization Control (SOC), International Organization for Standardization (ISO), Health Insurance Portability and Accountability Act (HIPAA) und Kunden können Amazon Bedrock in Übereinstimmung mit der General Data Protection Regulation (GDPR) nutzen. Amazon Bedrock ist nach CSA Security Trust Assurance and Risk (STAR) Level 2 zertifiziert, was die Verwendung von bewährten Verfahren und den Sicherheitsstatus der AWS-Cloud-Angebote bestätigt. Bei Amazon Bedrock werden Ihre Inhalte nicht zur Verbesserung der Basismodelle verwendet und nicht an Drittanbieter von Modellen weitergegeben. Ihre Daten in Amazon Bedrock werden während der Übertragung und im Ruhezustand immer verschlüsselt. Optional können Sie die Daten mit Ihren eigenen Schlüsseln verschlüsseln. Sie können AWS PrivateLink mit Amazon Bedrock verwenden, um eine private Verbindung zwischen Ihren FMs und Ihrer Amazon Virtual Private Cloud (Amazon VPC) herzustellen, ohne Ihren Datenverkehr dem Internet auszusetzen.
Was sind die ersten Schritte zum Start mit Amazon Bedrock?
Mit der Serverless-Erfahrung von Amazon Bedrock können Sie schnell loslegen. Navigieren Sie in der AWS-Managementkonsole zu Amazon Bedrock und probieren Sie die FMs auf dem Playground aus. Sie können auch einen Kundendienstmitarbeiter erstellen und ihn in der Konsole testen. Sobald Sie Ihren Anwendungsfall identifiziert haben, können Sie die FMs mithilfe von AWS-Tools problemlos in Ihre Anwendungen integrieren, ohne eine Infrastruktur verwalten zu müssen.
Link zum Einführungskurs von Amazon Bedrock
Link zum Benutzerhandbuch von Amazon Bedrock
Wie arbeitet Amazon Bedrock mit anderen Services zusammen?
Amazon Bedrock nutzt AWS Lambda zum Aufrufen von Aktionen, Amazon S3 für Trainings- und Validierungsdaten und Amazon CloudWatch zum Nachverfolgen von Metriken.
Was sind die häufigsten Anwendungsfälle für Amazon Bedrock?
Sie können schnell mit Anwendungsfällen beginnen:
- Erstellen Sie neue Originalinhalte wie Kurzgeschichten, Essays, Social-Media-Beiträge und Webseitentexte.
- Suchen, finden und synthetisieren Sie Informationen, um Fragen aus einem großen Datenbestand zu beantworten.
- Erstellen Sie anhand von Sprachanweisungen realistische und künstlerische Images von verschiedenen Motiven, Umgebungen und Szenen.
- Helfen Sie Ihren Kunden, das zu finden, wonach sie suchen – mit relevanteren und kontextbezogenen Produktempfehlungen mit mehr als Wortübereinstimmungen.
- Erhalten Sie eine Zusammenfassung von Textinhalten wie Artikeln, Blogbeiträgen, Büchern und Dokumenten, um das Wesentliche zu verstehen, ohne den gesamten Inhalt lesen zu müssen.
- Produkte vorschlagen, die den Präferenzen der Käufer und früheren Einkäufen entsprechen
Weitere Anwendungsfälle für generative KI erkunden.
Was ist Amazon Bedrock Playground?
Amazon Bedrock bietet einen Playground, auf dem Sie mithilfe einer Chat-Oberfläche mit verschiedenen FMs experimentieren können. Sie können eine Eingabeaufforderung angeben und eine Weboberfläche in der Konsole verwenden, um eine Aufforderung bereitzustellen und die vortrainierten Modelle zum Generieren von Text oder Bildern verwenden oder alternativ ein fein abgestimmtes Modell verwenden, das an Ihren Anwendungsfall angepasst wurde.
In welchen AWS-Regionen ist Amazon Bedrock verfügbar?
Eine Liste der AWS-Regionen, in denen Amazon Bedrock verfügbar ist, finden Sie unter Amazon-Bedrock-Endpunkte und Kontingente im Referenzleitfaden von Amazon Bedrock.
Wie passe ich ein Modell auf Amazon Bedrock an?
Sie können FMs in Amazon Bedrock ganz einfach feinabstimmen, indem Sie markierte Daten verwenden oder indem Sie die Funktion zum Vortraining verwenden, um das Modell mithilfe von nicht markierten Daten anzupassen. Stellen Sie zunächst den Trainings- und Validierungsdatensatz bereit, konfigurieren Sie Hyperparameter (Epochen, Batchgröße, Lernrate, Aufwärmschritte) und senden Sie den Auftrag ab. Innerhalb weniger Stunden kann mit derselben API (InvokeModel) auf Ihr fein abgestimmtes Modell zugegriffen werden.
Kann ich ein Modell trainieren und es auf Amazon Bedrock bereitstellen?
Ja, Sie können öffentlich verfügbare Modelle auswählen und sie mithilfe der Funktion für benutzerdefinierten Modellimport in Amazon Bedrock importieren. Derzeit unterstützt diese Funktion nur die Architekturen Llama 2/3, Mistral und Flan. Weitere Informationen finden Sie in der Dokumentation.
Agents
Was sind Amazon-Bedrock-Agenten?
Amazon-Bedrock-Agenten sind vollständig verwaltete Funktionen, die es Entwicklern erleichtern, generative KI-basierte Anwendungen zu erstellen, die komplexe Aufgaben für eine Vielzahl von Anwendungsfällen erledigen und aktuelle Antworten auf der Grundlage proprietärer Wissensquellen liefern können. In nur wenigen Schritten unterteilen Amazon-Bedrock-Agenten Aufgaben automatisch und erstellen einen Orchestrierungsplan – ganz ohne manuelle Codierung. Der Kundendienstmitarbeiter stellt über eine API eine sichere Verbindung zu Unternehmensdaten her, konvertiert Daten automatisch in ein maschinenlesbares Format und ergänzt die Anfrage mit relevanten Informationen, um die genaueste Antwort zu erhalten. Kundendienstmitarbeiter können dann automatisch APIs aufrufen, um die Anfrage eines Benutzers zu erfüllen. Beispielsweise möchte ein Fertigungsunternehmen möglicherweise eine generative KI-Anwendung entwickeln, die die Nachverfolgung von Lagerbeständen, Verkaufsdaten und Lieferketteninformationen automatisiert und optimale Nachbestellstellen und Mengen empfehlen kann, um die Effizienz zu maximieren. Als vollständig verwaltete Funktionen nehmen Amazon-Bedrock-Agenten den undifferenzierten Aufwand für die Verwaltung der Systemintegration und der Infrastrukturbereitstellung ab und ermöglichen es Entwicklern, generative KI in ihrem gesamten Unternehmen in vollem Umfang zu nutzen.
Wie kann ich FMs mit meinen Unternehmensdatenquellen verbinden?
Mit Amazon-Bedrock-Agenten können Sie FMs sicher mit Ihren Unternehmensdatenquellen verbinden. Mit einer Wissensdatenbank können Sie Kundendienstmitarbeiter einsetzen, um FMs in Amazon Bedrock Zugriff auf zusätzliche Daten zu gewähren, die dem Modell helfen, relevantere, kontextspezifischere und genauere Antworten zu generieren, ohne das FM ständig neu trainieren zu müssen. Basierend auf Benutzereingaben identifizieren die Kundendienstmitarbeiter die entsprechende Wissensbasis, rufen die relevanten Informationen ab und fügen die Informationen zur Eingabeaufforderung hinzu, sodass das Modell mehr Kontextinformationen erhält, um eine Vervollständigung zu generieren.
Was sind einige Anwendungsfälle für Amazon-Bedrock-Agenten?
Amazon-Bedrock-Agenten unterstützen Sie dabei, Ihre Produktivität zu steigern, Ihr Kundenservice-Erlebnis zu verbessern und Workflows zu automatisieren (z. B. bei der Bearbeitung von Versicherungsansprüchen).
Wie tragen Amazon-Bedrock-Agenten zur Verbesserung der Entwicklerproduktivität bei?
Mit Agenten erhalten Entwickler nahtlose Unterstützung für Überwachung, Verschlüsselung, Berechtigungen für Benutzer, Versionsverwaltung und die Verwaltung von API-Aufrufen, ohne eigenen Code schreiben zu müssen. Amazon-Bedrock-Agenten automatisieren die schnelle Entwicklung und Orchestrierung benutzerangeforderter Aufgaben. Entwickler können die vom Agenten erstellte Vorlage für Prompts als Grundlage verwenden, um sie für eine verbesserte Benutzererfahrung weiter zu verfeinern. Sie können die Benutzereingabe, den Orchestrierungsplan und die FM-Antwort aktualisieren. Mit dem Zugriff auf die Prompt-Vorlage haben Entwickler eine bessere Kontrolle über die Kundendienstmitarbeiter-Orchestrierung.
Mit vollständig verwalteten Kundendienstmitarbeitern müssen Sie sich keine Gedanken über die Bereitstellung oder Verwaltung der Infrastruktur machen und können Anwendungen schneller zur Produktion bringen.
Sicherheit
Werden von Amazon Bedrock verarbeitete Inhalte außerhalb der AWS-Region verschoben, in der ich Amazon Bedrock verwende?
Alle von Amazon Bedrock verarbeiteten Kundeninhalte werden verschlüsselt und im Ruhezustand in der AWS-Region gespeichert, in der Sie Amazon Bedrock verwenden.
Werden Benutzereingaben und Modellausgaben Drittanbietern von Modellen zur Verfügung gestellt?
Nein. Die Eingaben der Nutzer und die Ergebnisse des Modells werden nicht an die Modellanbieter weitergegeben.
Welche Sicherheits- und Compliance-Standards unterstützt Amazon Bedrock?
Amazon Bedrock bietet verschiedene Funktionen zur Unterstützung von Sicherheits- und Datenschutzanforderungen. Amazon Bedrock erfüllt gängige Compliance-Standards wie Fedramp Moderate, Service and Organization Control (SOC), Internationale Organisation für Normung (ISO) und Berechtigung zum Health Insurance Portability and Accountability Act (HIPAA). Kunden können Bedrock in Übereinstimmung mit der Datenschutz-Grundverordnung (DSGVO) verwenden. Amazon Bedrock ist im Umfang der SOC-Berichte 1, 2 und 3 enthalten, sodass Kunden Einblicke in unsere Sicherheitskontrollen erhalten. Wir weisen die Einhaltung der Vorschriften durch umfangreiche Prüfungen unserer AWS-Kontrollen durch Dritte nach. Amazon Bedrock ist einer der AWS-Services, die der ISO-Konformität für die Normen ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301 und ISO 20000 unterliegen. Amazon Bedrock ist nach CSA Security Trust Assurance and Risk (STAR) Level 2 zertifiziert, was die Verwendung von bewährten Verfahren und den Sicherheitsstatus der AWS-Cloud-Angebote bestätigt. Bei Amazon Bedrock werden Ihre Inhalte nicht zur Verbesserung der Basismodelle verwendet und nicht an Drittanbieter von Modellen weitergegeben. Sie können AWS PrivateLink verwenden, um eine private Konnektivität von Amazon VPC zu Amazon Bedrock herzustellen, ohne Ihre Daten dem Internetverkehr auszusetzen.
Werden AWS und Modell-Drittanbieter Kundeneingaben oder -ausgaben von Amazon Bedrock verwenden, um Amazon Titan oder Drittanbieter-Modelle zu trainieren?
Nein, AWS und die Modell-Drittanbieter werden keine Eingaben oder Ausgaben von Amazon Bedrock verwenden, um Amazon Titan oder Drittanbieter-Modelle zu trainieren.
SDK
Welche SDKs werden für Amazon Bedrock unterstützt?
Amazon Bedrock unterstützt SDKs für Laufzeit-Services. iOS- und Android-SDKs sowie Java, JS, Python, CLI, .Net, Ruby, PHP, Go und C unterstützen sowohl Text- als auch Spracheingabe.
Welche SDKs unterstützen Streaming-Funktionen?
Streaming wird in allen SDKs unterstützt.
Abrechnung und Support
Was kostet Amazon Bedrock?
Aktuelle Preisinformationen finden Sie auf der Seite mit der Preisübersicht für Amazon Bedrock.
Welcher Support wird für Amazon Bedrock geboten?
Abhängig von Ihrem AWS-Support-Vertrag wird Amazon Bedrock im Rahmen der Pläne Developer Support, Business Support und Enterprise Support unterstützt.
Wie kann ich die Eingabe- und Ausgabe-Token verfolgen?
Sie können CloudWatch-Metriken verwenden, um die Eingabe- und Ausgabe-Token zu verfolgen.
Individuelle Anpassung
Unterstützt Amazon Bedrock Continued Pre-Training?
Wir haben Continued Pre-Training für Modelle von Amazon Titan Text Express und Amazon Titan auf Amazon Bedrock eingeführt. Continued Pre-Training ermöglicht es Ihnen, das Vortraining auf einem Amazon-Titan-Basismodell mit großen Mengen an ungekennzeichneten Daten fortzusetzen. Bei dieser Art von Training wird das Modell von einem allgemeinen Domain-Korpus an einen spezifischeren Domain-Korpus wie Medizin, Recht, Finanzen usw. angepasst, wobei die meisten Fähigkeiten des Amazon-Titan-Basismodells erhalten bleiben.
Warum sollte ich das Continued Pretraining in Amazon Bedrock verwenden?
Unternehmen möchten möglicherweise Modelle für Aufgaben in einer bestimmten Domain erstellen. Die Basismodelle sind möglicherweise nicht auf die Fachsprache trainiert, die in dieser speziellen Domain verwendet wird. Die direkte Feinabstimmung des Basismodells erfordert daher große Mengen an gekennzeichneten Trainingsdatensätzen und eine lange Trainingsdauer, um genaue Ergebnisse zu erzielen. Um diesen Aufwand zu verringern, kann der Kunde stattdessen große Mengen an nicht gekennzeichneten Daten für einen Continued-Pre-Training-Auftrag zur Verfügung stellen. Mit dieser Aufgabe wird das Amazon-Titan-Basismodell an die neue Domain angepasst. Anschließend kann der Kunde das neu vortrainierte benutzerdefinierte Modell auf nachgelagerte Aufgaben abstimmen, wobei deutlich weniger markierte Trainingsdatensätze und eine kürzere Trainingsdauer benötigt werden.
Wie verhält sich das Feature Continued Pre-Training zu anderen AWS-Services?
Amazon Bedrock Continued Pre-Training und Fine Tuning haben sehr ähnliche Anforderungen. Aus diesem Grund haben wir uns dafür entschieden, einheitliche APIs zu erstellen, die sowohl das fortlaufende Pre-Training als auch Fine Tuning unterstützen. Die Vereinheitlichung der APIs reduziert die Lernkurve und hilft den Kunden bei der Nutzung von Standard-Features wie Amazon EventBridge zur Verfolgung lang laufender Aufträge, Amazon-S3-Integration zum Abrufen von Trainingsdaten, Ressourcen-Tags und Modellverschlüsselung.
Wie verwende ich fortgesetztes Vor-Training?
Das Continued Pre-Training hilft Ihnen, die Amazon-Titan-Modelle an Ihre Domain-Spezifischen Daten anzupassen, wobei die Basisfunktionalität der Amazon-Titan-Modelle erhalten bleibt. Um einen Continued-Pre-Training-Auftrag zu erstellen, navigieren Sie zur Amazon-Bedrock-Konsole und klicken Sie auf „Benutzerdefinierte Modelle“. Sie navigieren zur Seite für benutzerdefinierte Modelle, die zwei Registerkarten enthält: Modelle und Trainingsaufträge. Beide Registerkarten bieten auf der rechten Seite ein Dropdownmenü namens „Modell anpassen“. Wählen Sie im Dropdownmenü „Continued Pretraining“ aus, um zu „Continued-Pretraining-Auftrag erstellen“ zu gelangen. Sie geben das Quellmodell, den Namen, die Modellverschlüsselung, die Eingabedaten, die Hyperparameter und die Ausgabedaten an. Zusätzlich können Sie Tags sowie Details zu AWS Identity and Access Management (IAM)-Rollen und Ressourcenrichtlinien für den Auftrag angeben.
Amazon Titan
Was sind Amazon-Titan-Modelle?
Die Amazon-Titan-Modellfamilie ist exklusiv für Amazon Bedrock erhältlich und beinhaltet die 25-jährige Erfahrung von Amazon bei Innovationen mit KI und Machine Learning im gesamten Unternehmen. Amazon-Titan-FMs bieten Kunden über eine vollständig verwaltete API eine breite Auswahl an leistungsstarken Bild-, multimodalen und Textmodellen. Amazon-Titan-Modelle werden von AWS erstellt und anhand großer Datensätze vortrainiert, sodass sie leistungsstarke Allzweckmodelle sind, die eine Vielzahl von Anwendungsfällen unterstützen und gleichzeitig den verantwortungsvollen Umgang mit KI unterstützen. Verwenden Sie sie unverändert oder passen Sie sie individuell mit Ihren eigenen Daten an. Weitere Informationen zu Amazon Titan.
Wo kann ich mehr über die Daten erfahren, die zur Entwicklung und Schulung von Amazon-Titan-FMs verarbeitet werden?
Weitere Informationen zu den Daten, die zur Entwicklung und zum Training von Amazon-Titan-FMs verarbeitet werden, finden Sie auf der Seite Training und Datenschutz für Amazon-Titan-Modelle.
Retrieval Augmented Generation (RAG)
Welche Arten von Datenformaten werden von Wissensdatenbanken für Amazon Bedrock akzeptiert?
Zu den unterstützten Datenformaten gehören .pdf-, .txt-, .md-, .html-, .doc- und .docx-, .csv-, .xls- und .xlsx-Dateien. Dateien müssen in Amazon S3 hochgeladen werden. Zeigen Sie auf den Speicherort Ihrer Daten in Amazon S3, und Wissensdatenbanken für Amazon Bedrock kümmern sich um den gesamten Erfassungsablauf in Ihrer Vektordatenbank.
Wie teilen Wissensdatenbanken für Amazon Bedrock die Dokumente auf, bevor diese Blöcke in Einbettungen umgewandelt werden?
Wissensdatenbanken für Amazon Bedrock bieten drei Optionen zum Aufteilen von Text, bevor er in Einbettungen umgewandelt wird.
1. Standardoption: Wissensdatenbanken für Amazon Bedrock teilen Ihr Dokument automatisch in Abschnitte auf, die jeweils 200 Token enthalten, um sicherzustellen, dass ein Satz nicht in der Mitte unterbrochen wird. Enthält ein Dokument weniger als 200 Tokens, wird es nicht weiter aufgeteilt. Zwischen zwei aufeinanderfolgenden Chunks wird eine Überlappung von 20 % der Token beibehalten.
2. Aufteilung mit fester Größe: Mit dieser Option können Sie die maximale Anzahl von Token pro Block und den Überlappungsprozentsatz zwischen Blöcken für Wissensdatenbanken für Amazon Bedrock angeben, sodass Ihr Dokument automatisch in Blöcke aufgeteilt wird und sichergestellt wird, dass ein Satz nicht in der Mitte unterbrochen wird.
3. Option „Eine Einbettung pro Dokument erstellen“: Amazon Bedrock erstellt eine Einbettung pro Dokument. Diese Option eignet sich, wenn Sie Ihre Dokumente vorverarbeitet haben, indem Sie sie in separate Dateien aufgeteilt haben, und nicht möchten, dass Amazon Bedrock Ihre Dokumente weiter zerlegt.
Welches Einbettungsmodell wird für die Umwandlung von Dokumenten in Einbettungen (Vektoren) verwendet?
Gegenwärtig verwenden Wissensdatenbanken für Amazon Bedrock die neueste Version des Modells von Amazon Titan Text Embeddings, das in Amazon Bedrock verfügbar ist. Das Modell Titan Text Embeddings V2 unterstützt 8 000 Token und über 100 Sprachen und erstellt Einbettungen mit flexibler Dimensionierung von 256, 512 und 1 024.
Welche Vektordatenbanken werden von Wissensdatenbanken für Amazon Bedrock unterstützt?
Wissensdatenbanken für Amazon Bedrock kümmern sich um den gesamten Erfassungsablauf, bei dem Ihre Dokumente in Einbettungen (Vektoren) umgewandelt und die Einbettungen in einer speziellen Vektordatenbank gespeichert werden. Wissensdatenbanken für Amazon Bedrock unterstützen gängige Datenbanken für die Vektorspeicherung, einschließlich Vektor-Engine für Amazon OpenSearch Serverless, Pinecone, Redis Enterprise Cloud, Amazon Aurora (in Kürze verfügbar) und MongoDB (in Kürze verfügbar). Wenn Sie noch keine Vektordatenbank haben, erstellt Amazon Bedrock einen OpenSearch Serverless Vector Store für Sie.
Ist es möglich, eine regelmäßige oder ereignisgesteuerte Synchronisierung zwischen Amazon S3 und Wissensdatenbanken für Amazon Bedrock durchzuführen?
Je nach Anwendungsfall können Sie Amazon EventBridge verwenden, um eine regelmäßige oder ereignisgesteuerte Synchronisierung zwischen Amazon S3 und Wissensdatenbanken für Amazon Bedrock zu erstellen.
Modellevaluierung
Was ist das die Bewertungsmodell von Amazon Bedrock?
Mit der Modellbewertung von Amazon Bedrock können Sie mit nur wenigen kurzen Schritten das beste FM für Ihren Anwendungsfall bewerten, vergleichen und auswählen. Amazon Bedrock bietet die Wahl zwischen automatischer Bewertung und menschlicher Bewertung. Sie können die automatische Bewertung mit vordefinierten Metriken wie Genauigkeit, Robustheit und Toxizität verwenden. Sie können menschliche Bewertungs-Workflows für subjektive oder benutzerdefinierte Metriken wie Freundlichkeit, Stil und Übereinstimmung mit der Markensprache verwenden. Bei menschlichen Bewertungen können Ihre eigenen Mitarbeiter oder ein von AWS verwaltetes Team als Prüfer eingesetzt werden. Die Modellbewertung von Amazon Bedrock bietet integrierte kuratierte Datensätze. Sie können aber auch Ihre eigenen Datensätze verwenden.
Anhand welcher Kennzahlen kann ich FMs bewerten?
Mithilfe automatischer Bewertungen können Sie eine Vielzahl vordefinierter Metriken wie Genauigkeit, Robustheit und Toxizität bewerten. Sie können auch menschliche Bewertungs-Workflows für subjektive oder benutzerdefinierte Metriken verwenden, wie z. B. Freundlichkeit, Relevanz, Stil und Übereinstimmung mit der Markensprache.
Was ist der Unterschied zwischen menschlichen und automatischen Bewertungen?
Automatische Bewertungen ermöglichen es Ihnen, die Liste der verfügbaren FMs anhand von Standardkriterien (wie Genauigkeit, Toxizität und Robustheit) schnell einzugrenzen. Von Menschen durchgeführte Bewertungen werden häufig zur Beurteilung von differenzierteren oder subjektiven Kriterien verwendet, welche ein menschliches Urteilsvermögen erfordern und bei denen es möglicherweise keine automatischen Bewertungen gibt (z. B. Übereinstimmung mit der Markensprache, kreative Absicht, Freundlichkeit).
Wie funktioniert die automatische Bewertung?
Sie können Amazon-Bedrock-Modelle schnell auf Metriken wie Genauigkeit, Robustheit und Toxizität prüfen, indem Sie kuratierte integrierte Datensätze verwenden oder Ihre eigenen Prompt-Datensätze einbringen. Nachdem Ihre Prompt-Datensätze zur Inferenz an Amazon.Bedrock-Modelle gesendet wurden, werden die Modellantworten mit Bewertungsalgorithmen für jede Dimension bewertet. Die Backend-Engine fasst die einzelnen Prompt-Response-Ergebnisse zu einer Gesamtbewertung zusammen und stellt sie in leicht verständlichen visuellen Berichten dar.
Wie funktioniert menschliche Bewertung?
Mit Amazon Bedrock können Sie in wenigen Schritten menschliche Überprüfungsworkflows einrichten und Ihre internen Mitarbeiter oder ein von AWS verwaltetes Expertenteam zur Bewertung von Modellen heranziehen. Über die intuitive Benutzeroberfläche von Amazon Bedrock können Benutzer Modellantworten überprüfen und Feedback dazu geben, indem sie auf Daumen hoch oder runter klicken, auf einer Skala von 1 bis 5 bewerten, die beste aus mehreren Antworten auswählen oder Prompts bewerten. Beispielsweise kann einem Teammitglied gezeigt werden, wie zwei Modelle auf dieselbe Aufforderung reagieren, und dann aufgefordert werden, das Modell auszuwählen, das genauere, relevantere oder stilistischere Ergebnisse liefert. Sie können die für Sie wichtigen Bewertungskriterien festlegen, indem Sie die Anweisungen und Schaltflächen auf der Bewertungsoberfläche für Ihr Team anpassen. Sie können auch detaillierte Anweisungen mit Beispielen und dem Gesamtziel der Modellbewertung geben, damit Benutzer ihre Arbeit entsprechend ausrichten können. Diese Methode ist nützlich, um subjektive Kriterien zu bewerten, die ein menschliches Urteilsvermögen oder ein differenziertes Fachwissen erfordern und die nicht ohne weiteres durch automatische Auswertungen beurteilt werden können.
Verantwortungsvolle KI
Was ist Integritätsschutz für Amazon Bedrock?
Integritätsschutz für Amazon Bedrock unterstützt Sie bei der Implementierung von Schutzmaßnahmen für Ihre generativen KI-Anwendungen basierend auf Ihren Anwendungsfällen und verantwortungsvollen KI-Richtlinien. Integritätsschutz hilft dabei, die Interaktion zwischen Nutzern und FMs zu kontrollieren, indem unerwünschte und schädliche Inhalte gefiltert werden, und bald persönlich identifizierbare Informationen (PII) geschwärzt werden, um die Sicherheit von Inhalten und die Privatsphäre in generativen KI-Anwendungen zu verbessern. Sie können mehrere Integrationsschutzebenen mit unterschiedlichen Konfigurationen erstellen, die auf bestimmte Anwendungsfälle zugeschnitten sind. Außerdem können Sie mit dem Integritätsschutz Benutzereingaben und FM-Reaktionen, die gegen die vom Kunden definierten Richtlinien verstoßen könnten, kontinuierlich überwachen und analysieren.
Welche Schutzmaßnahmen sind im Integritätsschutz für Amazon Bedrock verfügbar?
Mit dem Integritätsschutz können Sie eine Reihe von Richtlinien definieren, um Ihre generativen KI-Anwendungen zu schützen. Sie können die folgenden Richtlinien in einem Integritätsschutz konfigurieren.
- Verweigerte Themen: Definieren Sie eine Reihe von Themen, die im Kontext Ihrer Anwendung unerwünscht sind. Beispielsweise kann ein Online-Banking-Assistent so konzipiert werden, dass er keine Anlageberatung anbietet.
- Inhaltsfilter: Konfigurieren Sie Schwellenwerte, um schädliche Inhalte in den Kategorien Hass, Beleidigung, Sexualität und Gewalt zu filtern.
- Wortfilter (in Kürze verfügbar): Definieren Sie eine Reihe von Wörtern, die in Benutzereingaben und FM-generierten Antworten blockiert werden sollen.
- PII-Redigierung (in Kürze verfügbar): Wählen Sie eine Reihe von PII aus, die in FM-generierten Antworten geschwärzt werden können. Je nach Anwendungsfall können Sie auch eine Benutzereingabe blockieren, wenn sie personenbezogene Daten enthält.
Kann ich den Integritätsschutz mit allen verfügbaren FMs und Tools auf Amazon Bedrock verwenden?
Integritätsschutz kann mit allen auf Amazon Bedrock verfügbaren großen Sprachmodellen (LLMs) verwendet werden. Er kann auch mit fein abgestimmten FMs sowie Kundendienstmitarbeitern für Amazon Bedrock verwendet werden.
Bietet AWS eine Entschädigung für geistiges Eigentum an, die Urheberrechtsansprüche für seine generativen KI-Services abdeckt?
AWS bietet eine unbegrenzte Entschädigung für Urheberrechtsansprüche, die sich aus der generativen Ausgabe der folgenden allgemein verfügbaren generativen KI-Services von Amazon ergeben: Amazon Titan Models, Amazon CodeWhisperer Professional und andere Services, die in Abschnitt 50.10 der Servicebedingungen aufgeführt sind (die „entschädigten generativen KI-Services“). Dies bedeutet, dass die Kunden vor Ansprüchen Dritter geschützt sind, die behaupten, dass die von den entschädigten generativen KI-Diensten als Reaktion auf vom Kunden bereitgestellte Eingaben oder andere Daten erzeugte Ausgabe gegen das Urheberrecht verstößt. Die Kunden müssen die Dienste auch verantwortungsbewusst nutzen, z. B. indem sie keine rechtsverletzenden Daten eingeben oder die Filter-Features eines Dienstes deaktivieren.
Darüber hinaus schützt unsere standardmäßige IP-Entschädigungsklausel für die Nutzung der Dienste die Kunden vor Ansprüchen Dritter, die behaupten, dass die Dienste und die zu ihrer Schulung verwendeten Daten gegen geistiges Eigentum verstoßen (einschließlich Urheberrechtsansprüchen).
Verfügen Sie über eine Liste mit vorgefertigtem (integrierten) Integritätsschutz, und was angepasst werden kann?
Es gibt vier Integritätsschutz-Richtlinien mit jeweils unterschiedlichen vorgefertigten Schutzmaßnahmen
- Inhaltsfilter – Es gibt 6 vorgefertigte Kategorien (Hass, Beleidigungen, Sex, Gewalt, Fehlverhalten (einschließlich krimineller Aktivitäten) und Prompt-Angriff (Jailbreak und Prompt-Injektion). Jede Kategorie kann hinsichtlich der Filteraggressivität weitere benutzerdefinierte Schwellenwerte aufweisen – niedrig/mittel/hoch.
- Abgelehntes Thema – Hierbei handelt es sich um benutzerdefinierte Themen, die der Kunde mithilfe einer einfachen Beschreibung in natürlicher Sprache definieren kann
- Filter für vertrauliche Informationen – dieser wird mit über 30 vorgefertigten PIIs geliefert. Durch das Hinzufügen vertraulicher Kundeninformationen ist eine weitere Anpassung möglich.
- Wortfilter – Es verfügt über eine vorinstallierte Filterung von Schimpfwörtern und kann mit benutzerdefinierten Wörtern weiter angepasst werden.
Erkennt der Standard-Integritätsschutz automatisch Sozialversicherungsnummern oder Telefonnummern?
Die Basismodelle verfügen über eigene Schutzmaßnahmen, die standardmäßig den einzelnen Modellen zugeordnet sind. Diese nativen Sicherheitsmaßnahmen sind NICHT Teil des Integritätsschutzes für Amazon Bedrock. Integritätsschutz für Amazon Bedrock ist eine zusätzliche Schicht individueller Schutzmaßnahmen, die der Kunde optional basierend auf seinen Anwendungsanforderungen und verantwortungsvollen KI-Richtlinien anwenden kann.
Im Rahmen des Integritätsschutzes für Amazon Bedrock gehören die Erkennung von SSN und Telefonnummern zu den über 30 standardmäßigen PIIs. Die vollständige Liste finden Sie hier.
Fallen für den Kunden separate Kosten für die Entwicklung von individuellem Integritätsschutz für Amazon Bedrock an? Wird dies sowohl auf die Eingabe als auch auf die Ausgabe angewendet?
Für die Nutzung des Integritätsschutzes für Amazon Bedrock fallen separate Kosten an. Diese können sowohl für die Eingabe als auch für die Ausgabe angewendet werden. Preise finden Sie hier unten auf der Seite.
Können Kunden die Wirksamkeit des von ihnen festgelegten Integritätsschutzes automatisch testen? Gibt es einen „Testfallgenerator“ (die Terminologie des Journalisten) für die laufende Überwachung?
Ja, Kunden können mithilfe der Integritätsschutz-APIs für Amazon Bedrock automatisierte Tests ausführen. „Testfallgenerator“ ist vielleicht etwas, das Sie verwenden möchten, bevor Sie Integritätsschutz in der Produktion einsetzen. Es gibt noch keinen nativen Testfallgenerator. Für die fortlaufende Überwachung des Datenverkehrs in der Produktion stellt der Integritätsschutz detaillierte Protokolle aller Verstöße für alle Eingaben und Ausgaben bereit, so dass Kunden jede einzelne Eingabe und Ausgabe ihrer gen KI-Anwendung differenziert überwachen können. Diese Protokolle können in CloudWatch oder S3 gespeichert und zum Erstellen benutzerdefinierter Dashboards basierend auf den Kundenanforderungen verwendet werden.