Large Language modells

Code link

What is the Transformers?

Ábra 1: Transformers. Forrás: Comingsoon.

Leghíresebb transformer architektúrák

• 1. june: A GPT, az első előre betanított Transformer modell, amelyet különféle NLP-feladatok finomhangolására használnak, és a legmodernebb eredményeket érte el
• 1. october: A BERT, egy másik nagy, előre betanított modell, amelyet a mondatok jobb összefoglalására terveztek (erről a következő fejezetben olvashat bővebben!)
• 1. feburary: GPT-2, a GPT továbbfejlesztett (és nagyobb) változata, amelyet etikai aggályok miatt nem adtak ki azonnal nyilvánosan
• 1. october: DistilBERT, a BERT desztillált változata, amely 60%-kal gyorsabb, 40%-kal könnyebb a memóriában, és továbbra is megőrzi a BERT teljesítményének 97%-át
• 1. october: BART és T5, két nagy, előre betanított modell, amelyek ugyanazt az architektúrát használják, mint az eredeti Transformer modell (az első, amelyik ezt megtette)
• 1. may, GPT-3, a GPT-2 még nagyobb verziója, amely finomhangolás nélkül (úgynevezett zero-shot learning) számos feladaton jól teljesít.
• 1. march, GPT-3.5, a GPt-2 még nagyobb verziója és nagyobb, mint a GPT-3, valamint ez a hálózati bázis az első chatGPT-hez
• 1. march, GPT-4
• 1. december, Gemini
• 1. márcis, GPT-4o, Complex services system round the GPT-4. They learned everything that they could.

Nagy nyelvi modellek és méreteik

Ábra 2: Nagy nyelvi modellek. Forrás: thelowdown.

First Transformer

Ábra 3: Transformer architektúra. Forrás: Google AI Blog.