Routing di prompt intelligente di Amazon Bedrock

Può essere difficile per gli sviluppatori capire quali query richiedano modelli più avanzati o potrebbero funzionare con quelli più piccoli, più veloci ed economici. Utilizzando tecniche avanzate di corrispondenza dei prompt e di comprensione dei modelli, il routing di prompt intelligente prevede le prestazioni di ciascun modello per ogni richiesta e instrada dinamicamente ogni richiesta verso il modello che, secondo le previsioni, è in grado di fornire la risposta desiderata al costo più basso. Puoi scegliere tra due router di prompt in antemprima che instradano le richieste tra Claude Sonnet 3.5 e Claude Haiku, oppure tra Llama 3.1 7B e Llama 3.1 80B.

Per conseguire le prestazioni e i costi desiderati per le tue applicazioni, è spesso necessario sviluppare flussi di lavoro di orchestrazione complessi, instradando ciascuna richiesta al modello più adatto a tale richiesta in base alla tua esperienza per ottenere le prestazioni desiderate in termini di precisione. Con il routing di prompt intelligente, puoi risparmiare mesi di fatica nel testare diversi modelli e creare flussi di lavoro di orchestrazione complessi.

Ogni richiesta è interamente tracciabile e consente di identificare quale modello gestisce ogni richiesta e di comprendere ed eseguire facilmente il debug di eventuali problemi.

Durante l"anteprima, ai clienti vengono addebitati prezzi regolari on-demand per i modelli a cui vengono indirizzate le richieste. Consulta la nostra pagina dei prezzi per i prezzi dettagliati per diversi fornitori di modelli.