Werbung
Nachdem das erste Large Language Model Llama von Meta mehr oder weniger offiziell seinen Weg in die Weiten des Internets gefunden hat, wurde die zweite Generation Llama 2 direkt als Open-Source-Modell vorgestellt. Die freie Nutzung ist für Forschungszwecke und die kommerzielle Nutzung möglich. Damit folgt Meta in dieser Hinsicht dem Software- und AI-Spezialisten MosaicML, die ähnliche Sprachmodelle bereits vor einiger Zeit veröffentlicht haben.
Die Llama-2-Modelle sind mit 7, 13 und 70 Milliarden Parametern verfügbar. Das bereits erfolgte Training fand auf 2 Billionen Tokens und einer Kontext-Länge von 4.096 statt. Damit wurde die Kontext-Länge im Vergleich zu den ersten Llama-Modellen verdoppelt.
Details zur Anwendung und der Partnerschaft zwischen Meta und Microsoft gibt es im dazugehörigen Blog-Post.
Zusätzlich zum Pre-Training gab es über eine Million durch Menschen vorgenommene Anmerkungen (Reinforcement Learning from Human Feedback oder kurz RLHF), die sich vor allem auf das Chat-Modell (Llama-2-Chat) auswirken sollen. Alle weiteren technischen Details zu den Modellen sind direkt bei Meta zu finden.
Die Llama2-Modelle sind über Microsoft Azure, Amazon Web Services und Hugging Face verfügbar.