Глубокое обучение, Погружение в мир нейронных сетей, Николенко С., Кадурин А., Архангельская Е., 2018

Глубокое обучение, Погружение в мир нейронных сетей, Николенко С., Кадурин А., Архангельская Е., 2018.

   Перед вами — первая книга о глубоком обучении, написанная на русском языке. Глубокие модели оказались ключом, который подходит ко всем замкам сразу: новые архитектуры и алгоритмы обучения, а также увеличившиеся вычислительные мощности и появившиеся огромные наборы данных привели к революционным прорывам в компьютерном зрении, распознавании речи, обработке естественного языка и многих других типично «человеческих» задачах машинного обучения. Эти захватывающие идеи, вся история и основные компоненты революции глубокого обучения, а также самые современные достижения этой области доступно и интересно изложены в книге. Максимум объяснений, минимум кода, серьезный материал о машинном обучении и увлекательное изложение — в этой уникальной работе замечательных российских ученых и интеллектуалов.




Революция обучения глубоких сетей.
Десять лет назад, в середине 2000-х годов, в машинном обучении началась революция. В 2005-2006 годах группы исследователей под руководством Джеффри Хинтона (Geoffrey Hinton) в университете Торонто и Йошуа Бенджи (Yoshua Bengio) в университете Монреаля научились обучать глубокие нейронные сети. И это перевернуло весь мир машинного обучения! Теперь в самых разнообразных предметных областях лучшие результаты получаются с помощью глубоких нейронных сетей. Одним из первых громких промышленных успехов стало распознавание речи: разработанные группой Хинтона глубокие сети очень быстро радикально улучшили результаты распознавания по сравнению с оттачивавшимися десятилетиями классическими подходами, и сегодня любой распознаватель, включая голосовые помощники вроде Apple Siri и Google Now, работает исключительно на глубоких нейронных сетях. А сейчас, к 2017 году, люди научились обучать самые разные архитектуры глубоких нейронных сетей, и те решают абсолютно разные задачи: от распознавания лиц до вождения автомобилей и игры в го.

Но идеи большинства таких моделей появились еще в 80-90-х годах XX века, а то и раньше. Искусственные нейронные сети стали предметом исследований очень давно; скоро мы увидим, что они были одной из первых хорошо оформленных идей искусственного интеллекта, когда и слов-то таких — «искусственный интеллект» — еще никто не слышал. Но с начала 90-х годов XX века до середины нулевых этого нейронные сети были, мягко говоря, не в моде. Известный исследователь нейронных сетей Джон Денкер (John Denker) в 1994 году сказал: «Нейронные сети — это второй лучший способ сделать практически что угодно». И действительно, на тот момент уже было известно, что нейронная сеть теоретически может приблизить любую функцию и обучиться решать любую задачу, а глубокая нейронная сеть способна еще и более эффективно решить гораздо больше разных задач... Но обучать глубокие сети никому не удавалось, другие методы на конкретных практических примерах работали лучше. Из общих методов машинного обучения это были сначала «ядерные методы» (kernel methods), в частности метод опорных векторов, а затем байесовские сети и в целом графические вероятностные модели. Но вообще Денкер вел речь о том, что более простая вероятностная модель, разработанная специально с учетом специфики конкретной задачи, обычно работала лучше, чем нейронная сеть «общего назначения», даже если выбрать ей подходящую для задачи архитектуру. А глубокие нейронные сети обучаться никак не хотели; о том, почему именно, мы подробно поговорим в разделе 3.5.

Оглавление.
Часть I. Как обучать нейронные сети.
Глава 1. От биологии к информатике, или We need to go deeper.
1.1. Революция обучения глубоких сетей.
1.2. Искусственный интеллект и машинное обучение.
1.3. Немного о словах: каким бывает машинное обучение.
1.4. Особенности человеческого мозга.
1.5. Пределы нейробиологии: что мы на самом деле знаем?.
1.6. Блеск и нищета современных нейронных сетей.
Глава 2. Предварительные сведения, или Курс молодого бойца.
2.1. Теорема Байеса.
2.2. Функции ошибки и регуляризация.
2.3. Расстояние Кульбака — Лейблера и перекрестная энтропия.
2.4. Градиентный спуск: основы.
2.5. Граф вычислений и дифференцирование на нем.
2.6. И о практике: введение в TensorFlow и Keras.
Глава 3. Перцептрон, или Эмбрион мудрого компьютера.
3.1. Когда появились искусственные нейронные сети.
3.2. Как работает перцептрон.
3.3. Современные перцептроны: функции активации.
3.4. Как же обучаются настоящие нейроны.
3.5. Глубокие сети: в чем прелесть и в чем сложность?.
3.6. Пример: распознавание рукописных цифр на TensorFlow.
Часть II. Основные архитектуры.
Глава 4. Быстрее, глубже, сильнее, или Об оврагах, долинах и трамплинах.
4.1. Регуляризация в нейронных сетях.
4.2. Как инициализировать веса.
4.3. Нормализация по мини-батчам.
4.4. Метод моментов: Ньютон, Нестеров и Гессе.
4.5. Адаптивные варианты градиентного спуска.
Глава 5. Сверточные нейронные сети и автокодировщики, или Не верь глазам своим.
5.1. Зрительная кора головного мозга.
5.2. Свертки и сверточные сети.
5.3. Свертки для распознавания цифр.
5.4. Современные сверточные архитектуры.
5.5. Автокодировщики.
5.6. Пример: кодируем рукописные цифры.
Глава 6. Рекуррентные нейронные сети, или Как правильно кусать себя за хвост.
6.1. Мотивация: обработка последовательностей.
6.2. Распространение ошибки и архитектуры RNN.
6.3. LSTM.
6.4. GRU и другие варианты.
6.5. SCRN и другие: долгая память в обычных RNN.
6.6. Пример: порождаем текст символ за символом.
Часть III. Новые архитектуры и применения.
Глава 7. Как научить компьютер читать, или Математик - Мужчина + Женщина =.
7.1. Интеллектуальная обработка текстов.
7.2. Распределенные представления слов: word2vec.
7.3. Русскоязычный word2vec на практике.
7.4. GloVe: раскладываем матрицу правильно.
7.5. Вверх и вниз от представлений слов.
7.6. Рекурсивные нейронные сети и синтаксический разбор.
Глава 8. Современные архитектуры, или Как в споре рождается истина.
8.1. Модели с вниманием и encoder-decoder.
8.2. Порождающие модели и глубокое обучение.
8.3. Состязательные сети.
8.4. Практический пример и трюк с логистическим сигмоидом.
8.5. Архитектуры, основанные на GAN.
Глава 9. Глубокое обучение с подкреплением, или Удивительное происшествие с чемпионом.
9.1. Обучение с подкреплением.
9.2. Марковские процессы принятия решений.
9.3. От TDGammon к DQN.
9.4. Бамбуковая хлопушка.
9.5. Градиент по стратегиям и другие применения.
Глава 10. Нейробайесовские методы, или Прошлое и будущее машинного обучения.
10.1. Теорема Байеса и нейронные сети.
10.2. Алгоритм EM.
10.3. Вариационные приближения.
10.4. Вариационный автокодировщик.
10.5. Байесовские нейронные сети и дропаут.
10.6. Заключение: что не вошло в книгу и что будет дальше.
Благодарности.
Литература.

Купить .








Теги: учебник по программированию :: программирование :: Николенко :: Кадурин :: Архангельская