Нейронная сеть
Слово «нейронная» в нейронной сети — историческая метафора. С настоящими нейронами мозга у этих моделей мало общего: это просто удобная вычислительная структура, на которой хорошо работает обучение.
Из чего состоит
- Слои нейронов — входной, несколько скрытых, выходной.
- Веса связей — числа, которые подбираются во время обучения.
- Функция активации — нелинейность, без которой сеть была бы просто линейной формулой.
- Функция потерь — измеряет, насколько ответ сети далёк от правильного.
Как учится
Сеть видит пример, делает предсказание, получает значение функции потерь и корректирует веса с помощью метода обратного распространения ошибки. Этот цикл повторяется миллионы раз на огромных наборах данных.
Когда применять и когда нет
Применять
- Данные сложные: изображения, текст, звук, временные ряды
- Простые модели исчерпали себя
- Есть достаточно данных и вычислительных ресурсов
Не применять
- Небольшая табличка с понятными признаками — часто хватит логистической регрессии или градиентного бустинга
- Нужно объяснить каждое решение в терминах входов — нейросети плохо интерпретируются
Примеры применения
Свёрточная нейросеть рассматривает картинку слоями: первые слои находят простые линии и края, средние — детали вроде глаз и колёс, последние — целые объекты. На выходе сеть выдаёт распределение вероятностей: «это кот с вероятностью 0,92, собака — 0,06, всё остальное — 0,02».
Часто задаваемые вопросы
Нет, это очень упрощённая математическая модель, вдохновлённая мозгом, но не повторяющая его. Реальные биологические нейроны устроены гораздо сложнее, и большинство архитектур современных нейросетей не похожи на устройство мозга.
Это число подбираемых весов в сети. У небольших моделей это десятки или сотни тысяч, у крупных языковых моделей — сотни миллиардов и больше. Чем больше параметров, тем выше потенциальная гибкость модели, но и тем дороже её обучение и эксплуатация.