BERT

Bidirectional Encoder Representations from Transformers (BERT), volně Obousměrné kódovací reprezentace z transformátorů, je velký jazykový model, tedy předtrénovaný základní model pro zpracování přirozeného jazyka (NLP). Je založený na transformerech. Je schopen pracovat s kontextem textu zleva i zprava, tedy v celé větě, na rozdíl od GPT, který je autoagresivní model a rozumí jen kontextu zleva. Důvodem je sada trénovacích dat, základní model u BERT je maskovaný jazykový model, u GPT se jedná o kauzální jazykový model.

BERT pracuje s kontextem v textu zleva u zprava.

Historie a využití

BERT vytvořil a v roce 2018 zveřejnil Jacob Devlin a jeho kolegové ze společnosti Google. V roce 2019 společnost Google oznámila, že začala využívat BERT ve svém vyhledávači, a koncem roku 2020 používala BERT téměř v každém dotazu v anglickém jazyce. Průzkum literatury z roku 2020 dospěl k závěru, že "za něco málo přes rok se BERT stal všudypřítomným základem v experimentech NLP", přičemž napočítal přes 150 výzkumných publikací analyzujících a vylepšujících tento model. BERT je též vědci využíván i v kombinaci s konvolučními neuronovými sítěmi (CNN) pro výzkum nenávistných projevů či detekci emocí.

Způsob fungování

BERT se snaží o kontextové porozumění neoznačeného textu v široké škále úloh tím, že se naučí předvídat text, který může být před a po (obousměrném) jiném textu, což je rozdíl oproti GPT, kde je tok v neuronové síti jednosměrný.

Původní anglickojazyčný BERT má dva modely:

1. BERT_BASE: 12 kódovačů s 12 obousměrnými samočinnými hlavami,
2. BERT_LARGE: 24 kódovačů s 16 obousměrnými samočinnými hlavami.

Oba modely jsou předem natrénovány z neoznačených dat získaných z korpusu BooksCorpus s 800 miliony slov a anglické Wikipedie s 2 500 miliony slov.

Využití je například následující:

• Určení, zda jsou recenze filmu pozitivní nebo negativní.
• Pomáhá chatbotům odpovídat na otázky.
• Pomáhá předvídat text při psaní e-mailu
• Dokáže rychle shrnout obsah dlouhých textů.
• Rozlišuje slova, která mají více významů, na základě okolního textu.

Odkazy

Reference

V tomto článku byl použit překlad textu z článku BERT (language model) na anglické Wikipedii.