Нейронная сеть — это тип модели машинного обучения, состоящий из слоёв простых вычислительных единиц, называемых нейронами или узлами, которые соединены друг с другом с помощью настраиваемых параметров — весов. Каждый нейрон принимает числа, умножает их на веса, прибавляет смещение и пропускает результат через нелинейную функцию. Объединяя множество таких слоёв, нейронная сеть учится отображать сложные входные данные — например, пиксели, слова или аудиосигналы — в выходные, такие как метки классов, переведённые предложения или сгенерированные изображения.
Как работает нейронная сеть
Во время обучения сети подаются примеры (например, тысячи фотографий с метками «кошка» или «собака»), и она выдаёт предсказание. Функция потерь измеряет, насколько это предсказание ошибочно, а алгоритм под названием обратное распространение ошибки вычисляет, как каждый вес в сети повлиял на ошибку. Затем оптимизатор, как правило вариант градиентного спуска, немного корректирует каждый вес, чтобы уменьшить ошибку. Повторение этого процесса на множестве примеров приводит к тому, что веса сети принимают значения, отражающие полезные статистические закономерности в данных.
Глубина сети имеет значение: первые слои, как правило, учатся распознавать простые признаки — такие как края или штрихи букв, — тогда как более глубокие слои объединяют эти признаки в более сложные концепции, такие как формы, слова или объекты. Именно эта иерархия представлений делает глубокие нейронные сети столь эффективными в задачах восприятия. Широко цитируемый обзор архитектуры и алгоритма обучения представлен в обзоре глубокого обучения Лекуна, Бенджио и Хинтона 2015 года в журнале Nature.
Почему это важно
Нейронные сети лежат в основе большинства возможностей ИИ, ставших массовыми в 2020-х годах, включая классификацию изображений, распознавание речи, машинный перевод, рекомендательные системы и большие языковые модели, такие как модели, на которых работают разговорные ассистенты. Они особенно успешны в задачах, где прописанные вручную правила ненадёжны, но доступны большие объёмы размеченных или неразмеченных данных, поскольку ту же архитектуру можно переобучить для новых предметных областей с относительно небольшими изменениями в коде.
Основные типы
- Нейронная сеть прямого распространения (FNN): Самая простая форма; сигналы передаются в одном направлении от входа к выходу. Многослойный персептрон — канонический пример.
- Свёрточная нейронная сеть (CNN): Использует фильтры с общими весами, идеально подходит для изображений и видео.
- Рекуррентная нейронная сеть (RNN): Содержит циклы, сохраняющие память о предыдущих шагах; подходит для последовательностей, таких как текст или данные датчиков; для языка в значительной мере вытеснена трансформерами.
- Трансформер: Современная архитектура, основанная на внимании, а не на рекуррентности. Это основа современных больших языковых моделей и многих систем компьютерного зрения.
- Генеративно-состязательная сеть (GAN): Объединяет генератор с дискриминатором, который учится отличать реальные образцы от поддельных; применяется для синтеза изображений.
Каждый из вариантов перестраивает или специализирует базовый рецепт из нейронов и весов под определённый тип данных, но основной принцип — обучение весов с помощью градиентного спуска по функции потерь — остаётся неизменным.