Llama 3.1 - Multilingv, Context Lung și Mai Multe!

Jul 23, 2024

Creează chatbotul personalizat cu BotGPT!

Poți construi chatbotul pentru suport clienți în câteva minute.

Llama 3.1, inclusiv modelul masiv de 405B, a sosit! Această nouă versiune incitantă de la Meta aduce o mulțime de îmbunătățiri și caracteristici impresionante. În această prezentare detaliată, vom explora tot ce trebuie să știți despre Llama 3.1 și capabilitățile sale extraordinare, subliniind de ce reprezintă un avans semnificativ în domeniul AI și procesării limbajului natural.

Prezentare generală a Llama 3.1

Llama 3.1 este disponibil în trei dimensiuni distincte: 8B, 70B și 405B. Fiecare dimensiune suportă capabilități multilaterale în opt limbi și se mândrește cu o lungime a contextului impresionantă de 128k de tokenuri. Această ultima iterație a seriei Llama nu numai că respectă, dar depășește adesea benchmark-urile de performanță stabilite de GPT-4 în cadrul unei game largi de sarcini de procesare a textului.

Caracteristici și îmbunătățiri cheie:

Dimensiuni ale modelului: Llama 3.1 este disponibil în versiunile 8B, 70B și 405B, fiecare fiind oferit ca model Instruct și Base pentru a răspunde diferitelor nevoi.
Lungimea contextului: Toate modelele suportă o lungime a contextului de 128k tokenuri, ceea ce le face extrem de eficiente pentru gestionarea textelor extinse și a contextelor lungi.
Suport multilingv: Modelele pot opera în opt limbi, inclusiv, dar fără a se limita la, engleză, germană și franceză, sporind utilizabilitatea lor globală.
Date de antrenament: Modelele Llama 3.1 au fost antrenate pe un număr impresionant de 15 trilioane de tokenuri și ajustate pe 25 de milioane de mostre umane și sintetice, asigurând un output de înaltă calitate și diversitate.
Licență: Licența prietenoasă cu comercializarea permite utilizarea output-urilor modelului pentru a îmbunătăți alte modele de limbaj mare (LLM), încurajând inovația.
Quantizare: Modelele sunt disponibile în formate FP8, AWQ și GPTQ pentru inferență eficientă, permițând desfășurarea pe diverse configurații hardware.
Performanță: Llama 3.1 se compară și depășește frecvent GPT-4 pe numeroase benchmark-uri, demonstrând capabilitățile sale superioare.
Capabilități îmbunătățite: Îmbunătățiri semnificative în codare și urmărirea instrucțiunilor, alături de suport robust pentru utilizarea instrumentelor și apelarea funcțiilor.
Disponibilitate: Modelele sunt accesibile prin API-ul Hugging Face Inference și HuggingChat, cu desfășurări cu un singur clic pe platforme precum Hugging Face, Amazon SageMaker și Google Cloud.

Prezentare detaliată

Llama 3.1 reprezintă un avans major, oferind o gamă de modele adaptate pentru aplicații diverse. Aceste modele sunt concepute pentru a fi eficiente pentru desfășurarea pe GPU-uri de consum, sprijinind în același timp aplicații AI-native de mari dimensiuni. Cele trei dimensiuni principale (8B, 70B și 405B) răspund diferitelor nevoi, cu variante atât de bază, cât și ajustate pentru instrucțiuni disponibile pentru fiecare dimensiune.

Modele noi:

Meta-Llama-3.1-8B: Modelul de bază conceput pentru desfășurare eficientă în diverse medii.
Meta-Llama-3.1-8B-Instruct: Ajustat specific pentru urmărirea instrucțiunilor, îmbunătățindu-i capacitatea de a gestiona sarcini ghidate.
Meta-Llama-3.1-70B: Potrivit pentru aplicații AI-native de mari dimensiuni care necesită putere de procesare extinsă.
Meta-Llama-3.1-70B-Instruct: Îmbunătățit pentru a gestiona instrucțiuni complexe, făcându-l ideal pentru cazuri avansate de utilizare.
Meta-Llama-3.1-405B: Un model de premieră conceput pentru generarea de date sintetice și alte aplicații avansate.
Meta-Llama-3.1-405B-Instruct: Modelul de top pentru sarcini cu risc ridicat și dense în instrucțiuni, oferind performanțe și fiabilitate fără egal.

În plus, Meta a introdus două modele inovatoare: Llama Guard 3 și Prompt Guard. Llama Guard 3 clasifică inputurile și răspunsurile LLM pentru a detecta conținut nesigur, în timp ce Prompt Guard este conceput pentru a detecta și preveni injecțiile de prompt și jailbreak-urile, asigurând o interacțiune AI mai sigură și mai securizată.

Performanță și eficiență:

Modelele Llama 3.1 au fost supuse unui antrenament extensiv folosind un număr vast de ore GPU, punând accent pe eficiență și scalabilitate. Disponibilitatea versiunilor cuantizate în formate FP8, AWQ și GPTQ asigură că aceste modele pot fi desfășurate eficient în diverse medii, de la hardware de consum la centre de date de mari dimensiuni.

Cerințe de memorie:

Rularea Llama 3.1 necesită resurse hardware substanțiale, în special pentru modelele mai mari. Mai jos este o defalcare a cerințelor de memorie pentru inferență și antrenament:

Cerințe de memorie pentru inferență:

Pentru inferență, cerințele de memorie depind de dimensiunea modelului și de precizia greutăților. Iată un tabel care arată memoria aproximativă necesară pentru diferite configurații:

Dimensiune model	FP16	FP8	INT4
8B	16GB	8GB	4GB
70B	140GB	70GB	35GB
405B	810GB	405GB	203GB

Notă: Numerele menționate mai sus indică VRAM-ul GPU necesar doar pentru a încărca punctul de control al modelului. Acestea nu includ spațiul rezervat de torch pentru kernel-uri sau graficele CUDA.

De exemplu, un nod echipat cu 8 GPU-uri H100, fiecare având aproximativ 640GB de VRAM, ar necesita rularea modelului de 405B într-o configurație multi-nod sau utilizarea unei precizii mai scăzute, cum ar fi FP8. Aceasta din urmă este, în general, metoda preferată.

Cerințe de memorie pentru cache-ul KV

Este important de menționat că utilizarea formatelor de precizie mai scăzută, cum ar fi INT4, ar putea duce la o pierdere a preciziei, dar această compensare poate reduce substanțial utilizarea memoriei și poate crește viteza de inferență. Pe lângă acomodarea greutăților modelului, va trebui să alocați și memorie pentru cache-ul KV. Acest cache reține cheile și valorile pentru toate tokenurile din contextul modelului pentru a evita recalcularea acestora atunci când se generează noi tokenuri. Acest lucru devine deosebit de crucial având în vedere lungimea extinsă a contextului modelului. În precizia FP16, cerințele de memorie pentru cache-ul KV sunt:

Cerințele de memorie pentru cache-ul KV, care reține cheile și valorile pentru toate tokenurile din contextul modelului, sunt detaliate mai jos. Aceste cerințe variază în funcție de dimensiunea modelului și de numărul de tokenuri.

Dimensiune model	1k tokenuri	16k tokenuri	128k tokenuri
8B	0.125 GB	1.95 GB	15.62 GB
70B	0.313 GB	4.88 GB	39.06 GB
405B	0.984 GB	15.38 GB	123.05 GB

Cerințe de memorie pentru antrenament

Tabelul de mai jos oferă o prezentare detaliată a cerințelor aproximative de memorie pentru antrenarea modelelor Llama 3.1. Acesta categorizează nevoile de memorie în funcție de dimensiunile diferitelor modele și de contextul token-urilor, care sunt critice pentru optimizarea proceselor de antrenament.

Aceste informații sunt esențiale pentru planificare și alocarea resurselor, deoarece ajută la înțelegerea amprentei de memorie asociate cu diverse contexte (variază de la 1.000 tokenuri la 128.000 tokenuri) și diferite dimensiuni ale modelului. Aceste estimări sunt cruciale pentru gestionarea eficientă a resurselor hardware în timpul antrenamentului.

Dimensiune model	Fine-tuning complet	LoRA	Q-LoRA
8B	60GB	16GB	6GB
70B	300GB	160GB	48GB
405B	3.25TB	950GB	250GB

Aceste cerințe subliniază necesitatea unui hardware robust pentru a valorifica pe deplin capabilitățile Llama 3.1, în special pentru antrenarea și desfășurarea modelelor mai mari.

Evaluare:

Modelele Llama 3.1 au fost evaluate riguros pe diverse benchmark-uri, demonstrând îmbunătățiri semnificative față de versiunile anterioare. Acestea prezintă o performanță competitivă în comparație cu alte modele de vârf, cum ar fi GPT-4, evidențiind capabilitățile și eficiența lor avansată.

Evaluarea Llama 3.1

Notă: În prezent, evaluăm Llama 3.1 individual pe noul Open LLM Leaderboard 2 și vom actualiza această secțiune mai târziu astăzi. Mai jos este un extras din evaluarea oficială de la Meta.

Categoria	Benchmark	# Shots	Metric	Llama 3 8B	Llama 3.1 8B	Llama 3 70B	Llama 3.1 70B	Llama 3.1 405B
General	MMLU	5	macro_avg/acc_char	66.7	66.7	79.5	79.3	85.2
	MMLU PRO (CoT)	5	macro_avg/acc_char	36.2	37.1	55.0	53.8	61.6
	AGIEval English	3-5	average/acc_char	47.1	47.8	63.0	64.6	71.6
	CommonSenseQA	7	acc_char	72.6	75.0	83.8	84.1	85.8
	Winogrande	5	acc_char	-	60.5	-	83.3	86.7
	BIG-Bench Hard (CoT)	3	average/em	61.1	64.2	81.3	81.6	85.9
	ARC-Challenge	25	acc_char	79.4	79.7	93.1	92.9	96.1
Raționament de cunoștințe	TriviaQA-Wiki	5	em	78.5	77.6	89.7	89.8	91.8
	SQuAD	1	em	76.4	77.0	85.6	81.8	89.3
Comprehensiune de lectură	QuAC (F1)	1	f1	44.4	44.9	51.1	51.1	53.6
	BoolQ	0	acc_char	75.7	75.0	79.0	79.4	80.0
	DROP (F1)	3	f1	58.4	59.5	79.7	79.6	84.8

Datele de antrenament

Prezentare generală

Llama 3.1 a fost preantrenat pe aproximativ 15 trilioane de tokenuri de date provenite din resurse disponibile public. Pentru fine-tuning, modelul a utilizat seturi de date de instrucțiuni disponibile public, în plus față de peste 25 de milioane de exemple generate sintetic. Acest set extins de date ajută la îmbunătățirea performanței și versatilității modelului în diverse sarcini.

Actualizarea datelor

Datele de preantrenament pentru Llama 3.1 au o dată limită de decembrie 2023. Aceasta asigură că baza de cunoștințe a modelului este relativ actualizată cu dezvoltările recente și informațiile disponibile până la acel moment.

Scoruri de Benchmark

Modele Preantrenate de Bază

Următorul tabel prezintă performanța modelelor Llama 3.1 pe diverse benchmark-uri automate standard. Evaluările au fost efectuate folosind biblioteca noastră internă de evaluare.

Categoria	Benchmark	# Shots	Metric	Llama 3 8B	Llama 3.1 8B	Llama 3 70B	Llama 3.1 70B	Llama 3.1 405B
General	MMLU	5	macro_avg/acc_char	66.7	66.7	79.5	79.3	85.2
	MMLU-Pro (CoT)	5	macro_avg/acc_char	36.2	37.1	55.0	53.8	61.6
	AGIEval English	3-5	average/acc_char	47.1	47.8	63.0	64.6	71.6
	CommonSenseQA	7	acc_char	72.6	75.0	83.8	84.1	85.8
	Winogrande	5	acc_char	-	60.5	-	83.3	86.7
	BIG-Bench Hard (CoT)	3	average/em	61.1	64.2	81.3	81.6	85.9
	ARC-Challenge	25	acc_char	79.4	79.7	93.1	92.9	96.1
Raționament de cunoștințe	TriviaQA-Wiki	5	em	78.5	77.6	89.7	89.8	91.8
	SQuAD	1	em	76.4	77.0	85.6	81.8	89.3
	QuAC (F1)	1	f1	44.4	44.9	51.1	51.1	53.6
	BoolQ	0	acc_char	75.7	75.0	79.0	79.4	80.0
	DROP (F1)	3	f1	58.4	59.5	79.7	79.6	84.8

Modele Tuned pentru Instrucțiuni

Tabelul de mai jos arată performanța modelelor Llama 3.1 ajustate pentru instrucțiuni pe diverse benchmark-uri:

Categoria	Benchmark	# Shots	Metric	Llama 3 8B Instruct	Llama 3.1 8B Instruct	Llama 3 70B Instruct	Llama 3.1 70B Instruct	Llama 3.1 405B Instruct
General	MMLU	5	macro_avg/acc	68.5	69.4	82.0	83.6	87.3
	MMLU (CoT)	0	macro_avg/acc	65.3	73.0	80.9	86.0	88.6
	MMLU-Pro (CoT)	5	micro_avg/acc_char	45.5	48.3	63.4	66.4	73.3
	IFEval	-	-	76.8	80.4	82.9	87.5	88.6
Raționament	ARC-C	0	acc	82.4	83.4	94.4	94.8	96.9
	GPQA	0	em	34.6	30.4	39.5	41.7	50.7
Cod	HumanEval	0	pass@1	60.4	72.6	81.7	80.5	89.0
	MBPP ++ versiune de bază	0	pass@1	70.6	72.8	82.5	86.0	88.6
	Multipl-E HumanEval	0	pass@1	-	50.8	-	65.5	75.2
	Multipl-E MBPP	0	pass@1	-	52.4	-	62.0	65.7
Matematică	GSM-8K (CoT)	8	em_maj1@1	80.6	84.5	93.0	95.1	96.8
	MATH (CoT)	0	final_em	29.1	51.9	51.0	68.0	73.8
Utilizarea Uneltelor	API-Bank	0	acc	48.3	82.6	85.1	90.0	92.0
	BFCL	0	acc	60.3	76.1	83.0	84.8	88.5
	Gorilla Benchmark API Bench	0	acc	1.7	8.2	14.7	29.7	35.3
	Nexus (0-shot)	0	macro_avg/acc	18.1	38.5	47.8	56.7	58.7
Multilingv	Multilingual MGSM (CoT)	0	em	-	68.9	-	86.9	91.6

Benchmark-uri Multilingve

Tabelul de mai jos detaliază performanța modelelor Llama 3.1 în diferite limbi:

Categoria	Benchmark	Limbă	Llama 3.1 8B	Llama 3.1 70B	Llama 3.1 405B
General	MMLU (5-shot, macro_avg/acc)	Portugheză	62.12	80.13	84.95
		Spaniolă	62.45	80.05	85.08
		Italiană	61.63	80.4	85.04
		Germană	60.59	79.27	84.36
		Franceză	62.34	79.82	84.66
		Hindi	50.88	74.52	80.31
		Thai	50.32	72.95	78.21

Integrarea cu Hugging Face:

Modelele Llama 3.1 sunt integrate perfect în ecosistemul Hugging Face, inclusiv biblioteca Transformers și TGI. Această integrare asigură că utilizatorii pot desfășura și ajusta cu ușurință aceste modele. În plus, ele sunt disponibile pe HuggingChat pentru utilizare imediată, oferind o interfață prietenoasă pentru interacțiunea cu modelele.

Quantizare:

În colaborare cu Hugging Face, Meta a furnizat versiuni cuantizate ale modelelor Llama 3.1. Această inițiativă face ca modelele să fie mai accesibile și eficiente pentru desfășurare, reducând resursele computaționale necesare fără a compromite performanța.

Întrebări Frecvente

Cum să începi

Pentru a utiliza Llama 3.1 cu Hugging Face Transformers, asigurați-vă că aveți instalată cea mai recentă versiune. Iată cum să începeți:

Instalare: Asigurați-vă că aveți instalat transformers și torch:

pip install "transformers>=4.43" --upgrade

Mai jos se află un exemplu de cod pentru a utiliza modelul Llama 3.1 pentru generarea de text:

from transformers import pipeline
import torch

model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"
pipe = pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda",
)

messages = [
    {"role": "user", "content": "Who are you? Please, answer in pirate-speak."},
]
outputs = pipe(
    messages,
    max_new_tokens=256,
    do_sample=False,
)
assistant_response = outputs[0]["generated_text"][-1]["content"]
print(assistant_response)
# Arrrr, me hearty! Yer lookin' fer a bit o' information about meself, eh? Alright then, matey! I be a language-generatin' swashbuckler, a digital buccaneer with a penchant fer spinnin' words into gold doubloons o' knowledge! Me name be... (dramatic pause)...Assistant! Aye, that be me name, and I be here to help ye navigate the seven seas o' questions and find the hidden treasure o' answers! So hoist the sails and set course fer adventure, me hearty! What be yer first question?

Informații suplimentare

Pentru informații mai detaliate și documentație, consultați documentația Hugging Face.

Concluzie

Llama 3.1 reprezintă un salt semnificativ în dezvoltarea AI, oferind modele robuste, eficiente și multilingve care se potrivesc unei game largi de aplicații. Cu capabilitățile sale impresionante și integrarea perfectă în ecosistemul Hugging Face, Llama 3.1 este pregătit să accelereze adoptarea și inovația în domeniul AI.

Un mare mulțumesc echipei Meta pentru lansarea Llama 3.1, inclusiv a modelului revoluționar de 405B. Această dezvoltare va ajuta cu siguranță pe toată lumea să accelereze și să adopte AI mai ușor și mai rapid.

Explorați și începeți să utilizați Llama 3.1 astăzi!

Linkuri utile:

Postare pe blog: Anunț Llama 3.1
Colecția de modele: Modele Meta Llama 3.1

Bot Personalizat Gratuit ChatGPT cu BotGPT

Pentru a valorifica pe deplin potențialul LLM-urilor pentru nevoile dumneavoastră specifice, luați în considerare crearea unui chatbot personalizat adaptat la datele și cerințele dumneavoastră. Explorați BotGPT pentru a descoperi cum puteți profita de tehnologia avansată AI pentru a construi soluții personalizate și a vă îmbunătăți proiectele de afaceri sau personale. Prin îmbrățișarea capabilităților BotGPT, puteți rămâne cu un pas înainte în peisajul în evoluție al AI-ului și debloca noi oportunități de inovație și interacțiune.

Descoperiți puterea asistentului nostru virtual versatil, alimentat de tehnologia de vârf GPT, adaptat pentru a satisface nevoile dumneavoastră specifice.

Funcții

Îmbunătățiți Productivitatea: Transformați fluxul de lucru cu eficiența BotGPT. Începeți
Integrare Seamless: Integrați cu ușurință BotGPT în aplicațiile dumneavoastră. Aflați Mai Multe
Optimizați Crearea de Conținut: Creșteți procesul de creare și editare a conținutului cu BotGPT. Încercați Acum
Asistență Virtuală 24/7: Accesați BotGPT oricând, oriunde pentru suport instantaneu. Explorați Aici
Soluții Personalizabile: Adaptați BotGPT pentru a se potrivi perfect cerințelor afacerii dumneavoastră. Personalizați Acum
Informații Bazate pe AI: Descoperiți informații valoroase cu capabilitățile avansate ale BotGPT. Descoperiți Mai Multe
Deblocați Funcții Premium: Faceți upgrade la BotGPT pentru funcții exclusive. Faceți Upgrade Astăzi

Despre BotGPT

BotGPT este un chatbot puternic alimentat de tehnologia avansată GPT, conceput pentru integrare seamless pe diverse platforme. Îmbunătățiți productivitatea și creativitatea cu asistența virtuală inteligentă oferită de BotGPT.

Conectați-vă cu noi la BotGPT și descoperiți viitorul asistenței virtuale.