PaLM 2 je další generace velkého jazykového modelu od Googlu, který staví na předchozích pokrocích společnosti v oblasti strojového učení a zodpovědné AI. Tento model je významně lepší než předchozí modely, včetně PaLM, v pokročilých úlohách, jako je generování kódu a matematiky, klasifikace a odpovídání na otázky, překlad a mnohojazyčná dovednost a generování přirozeného jazyka. Toho bylo dosaženo díky optimalizaci výpočetního škálování, vylepšenému mixu datových sad a zlepšením architektury modelu
PaLM 2 byl navržen a nasazen tak, aby odpovídal Googleově přístupu k zodpovědnému vývoji a nasazení AI. Model byl důkladně vyhodnocen z hlediska potenciálních škod a zkreslení, schopností a následných použití ve výzkumu a výrobních aplikacích. Používá se také v jiných nejmodernějších modelech, jako je Med-PaLM 2 a Sec-PaLM, a napájí generativní AI funkce a nástroje Googlu, jako je Bard a PaLM API
Mezi schopnosti modelu PaLM 2 patří:
- Řešení problémů: PaLM 2 je schopen rozložit složitou úlohu na jednodušší dílčí úlohy a lépe chápe nuance lidského jazyka než předchozí modely, jako je PaLM. Například PaLM 2 exceluje v porozumění hádankám a idiomům, což vyžaduje pochopení nejednoznačného a figurativního významu slov, nikoli doslovný význam.
- Mnohojazyčný překlad: PaLM 2 byl předtrénován na paralelních mnohojazyčných textech a na mnohem větší korpus různých jazyků než jeho předchůdce, PaLM. To znamená, že PaLM 2 exceluje v mnohojazyčných úlohách.
- Programování: PaLM 2 byl předtrénován na velkém množství webových stránek, zdrojového kódu a dalších datových sad. To znamená, že je schopen generovat populární programovací jazyky, jako je Python a JavaScript, ale také je schopen generovat specializovaný kód v jazycích jako jsouProlog, Fortran a Verilog. Kombinace těchto schopností může pomoci týmům spolupracovat napříč jazyky.
PaLM 2 dosahuje nejlepších výsledků na úlohách řešení problémů, jako jsou WinoGrande a BigBench-Hard. Je výrazně vícejazyčnější než náš předchozí velký jazykový model, PaLM, dosahující lepších výsledků na benchmarkových úlohách, jako jsou XSum, WikiLingua a XLSum.