LLM — это ...

Здесь размещен учебник о больших языковых моделях: истории их возникновения, анатомии и об их применении для решения прикладных задач. Материалы помогут быстро разобраться в основных понятиях, подготовиться к собеседованию и помочь в структурировании информации. Для более углубленного изучения в статьях присутствуют ссылки на оригинальные научные работы. Кроме того, в конце каждой статьи вы найдете вопросы и тесты для самопроверки.

Область движется настолько быстро, что пока учебные материалы разрабатываются, они успевают устареть. В этой связи большая часть текста была сгенерирована, а затем отредактирована человеком. Кроме того, материалы поддерживаются сообществом, поэтому в случае обнаружения неточности выделите текст, нажмите ПКМ и выберите «Сообщить о неточности». Так Вы поможете поддерживать материалы актуальными и точными.

Часть I — Основы языкового моделирования

1.1Что такое языковая модель на самом деле 1.2Статистические и счётные языковые модели 1.3Нейросетевые языковые модели до RNN 1.4Рекуррентные сети как языковые модели 1.5Внимание до трансформеров

Часть II — Архитектура трансформера

2.1Внимание — это всё, что вам нужно 2.2Позиционная информация 2.3Архитектурные варианты 2.4Нормализация и стабилизация 2.5Полносвязный слой

Часть III — Масштабирование архитектуры

3.1Стоимость внимания 3.2Длинный контекст 3.3Смесь экспертов 3.4Эффективность на этапе инференса 3.5Варианты внимания для инференса 3.6За пределами внимания

Часть IV — Обучение, масштабирование и выравнивание

4.1Токенизация 4.2Цели предобучения и данные 4.3Законы масштабирования 4.4Распределённое обучение 4.5От базовой модели к ассистенту 4.6Основы выравнивания и безопасности 4.7Параметрически эффективное дообучение: LoRA и QLoRA

Часть V — Возможности и оценка

5.1Рассуждение и вычисления на этапе инференса 5.2Генерация с дополненным поиском 5.3Мультимодальные LLM 5.4Агенты и использование инструментов 5.5Оценка 5.6Структурированный вывод: от грамматик до ограниченного декодирования

Часть VI — Проектирование систем и дальнейший путь

6.1Системный дизайн для LLM-продуктов 6.2Куда движется область