Языковая модель GPT от OpenAI, финансируемая Microsoft, произвела революцию в мире вычислений. Генеративный искусственный интеллект (ИИ) — это настоящая революция, и все вкладывают миллионы долларов, чтобы догнать Microsoft. Между тем Microsoft только что объявила о партнерстве с компанией Meta, владельцем Instagram и Messenger. Помимо GPT, эти две компании будут совместно работать над языковой моделью Llama 2.
Следующая версия большой языковой модели от Meta — Llama 2 — только что стала доступна бесплатно для всех желающих, в том числе и для коммерческого использования. Марк Цукерберг сообщил в своем профиле на Facebook, что и на этот раз в разработке участвовала компания Microsoft. Весь код Llama 2 является открытым, что обусловлено практически полным преимуществом такого решения. Языковая модель имеет гораздо больший диапазон данных, на которых она обучалась (чем Llama).
Что такое Llama и Llama 2?
Llama — это разработанный компанией Meta конкурент GPT от OpenAI. Хотя, возможно, конкуренция — не самый удачный термин, поскольку он предполагает, что владелец Facebook начал свою работу значительно позже, чем OpenAI — между тем, GPT и Llama, как утверждается, разрабатывались параллельно. Отныне Llama 2 также будет принадлежать Microsoft Technology. Что ж, в некотором смысле.
Llama 2 — это еще более продвинутая версия GPT. Она может генерировать более реалистичный текст, переводить языки с большей точностью и отвечать на вопросы более информативно. Это потенциально революционная технология, которая может изменить способ нашего взаимодействия с компьютерами.
Партнерство Microsoft и Meta — это еще один знак того, что генеративный ИИ становится все более важным. Две ведущие технологические компании в мире объединяют свои усилия, чтобы создать самую передовую языковую модель, которая когда-либо существовала. Это говорит о том, что генеративный ИИ — это область, на которую стоит обратить внимание, и мы можем ожидать еще больших инноваций в этом направлении в ближайшие годы.
Что еще известно о Llama 2
На основе большой языковой модели Llama 2 (LLM) были выпущены три версии, отличающиеся друг от друга параметрами (7, 13 или 70 млрд. параметров). Вся модель была обучена на коллекции, которая на 40% больше, чем в первом выпуске. Ожидается, что общедоступность этой модели будет способствовать повышению безопасности и углублению понимания принципов ее работы. Также для загрузки доступны модели, которые были доработаны для более естественного общения с человеком. Модель Llama 2 во многих различных бенчмарках (MMLU, TriviAQ, GSM8K, HumanEval и др.) показывает себя гораздо лучше, чем MPT и Falcon. В свою очередь, его (как модели чатбота) модус операнди всегда будет характеризоваться уважительным отношением к пользователю и беспристрастным общением. При этом действует множество правил, не позволяющих модели нарушать общепринятые нормы.
С другой стороны, упомянутое партнерство с Microsoft отнюдь не ново, поскольку Meta уже много лет развивает различные проекты на ее базе (ONNX, PyTorch, а также программное обеспечение для очков виртуальной реальности). Таким образом, воспользоваться новой функцией могут пользователи платформы Microsoft Azure или Windows (локально). Если вы хотите самостоятельно протестировать возможности новой языковой модели, необходимо сначала перейти на эту страницу и запросить доступ, что также предполагает принятие условий. Llama 2 также присутствует на платформах Github и HuggingFace (не скачивая, можно опробовать функционал). Все подробности о рассматриваемом LLM содержатся в этом исчерпывающем документе.
Сравнение Lllama 2 и GPT-4
Llama 2, как и другие LLM-системы, может генерировать текст и код в ответ на заданные команды. Модель была обучена на двух триллионах лексем из различных онлайн-источников, в основном на английском языке. Llama 2 имеет две версии — Llama 2 и Llama 2-Chat, адаптированную для двустороннего общения. Каждая из них имеет три уровня сложности: 7 млрд. параметров, 13 млрд. параметров и 70 млрд. параметров. Чем больше параметров, тем выше качество генерируемого текста.
Llama 2 — наименьшая из трех моделей по количеству параметров. У GPT-4 их количество неизвестно, но, вероятно, больше, чем у GPT-3.5, у которой 175 млрд. параметров. PaLM 2 также имеет неизвестное число параметров, но PaLM первого гемера имеет 540 млрд. параметров. Llama 2, как мы уже отмечали выше, обучалась на двух триллионах лексем из различных онлайн-источников, в основном на английском языке. GPT-4 был обучен более чем на трех триллионах лексем из различных онлайн-источников и изображений. PaLM 2 был обучен на гораздо большем наборе данных, чем PaLM, но его точный размер неизвестен.
Llama 2 поддерживает 20 языков, GPT-4 — 26 языков, а PaLM 2 — 100 языков. Google утверждает, что PaLM 2 превосходит GPT-4 по многоязычности и переводу, что трудно проверить. Тем не менее, сама компания Meta признает, что Llama 2 менее производительна, чем GPT-4, и что между ними существует разрыв в производительности. GPT-4 лучше, чем Llama 2, справляется с некоторыми задачами, такими как MMLU, HellaSwag и ARC-E. С другой стороны, компания Google утверждает, что PaLM 2 обладает лучшими возможностями рассуждений, чем GPT-4 в WinoGrande и DROP, а также показывает лучшие результаты в математике.
