Самоорганизующиеся карты, Кохонен Т., 2021

Самоорганизующиеся карты, Кохонен Т., 2021.

   Самоорганизующиеся карты вместе с их разновидностями представляют собой одну из наиболее популярных нейросетевых архитектур, ориентированных на обучение без учителя. Они широко используются в таких областях, как статистика, обработка сигналов, теория управления, финансовый анализ, экспериментальная физика, химия, медицина, для решения сложных, многомерных, нелинейных задач, связанных с извлечением признаков, обработкой и классификацией изображений, адаптивным управлением и т. п. В книге дается детальное изложение математического аппарата и применений для самоорганизующихся карт.
Для специалистов в области теории и применений нейросетевого моделирования, а также студентов и аспирантов соответствующих специальностей.




Основной метод подпространств.
Подпространства как классы. Менее известным в статистическом распознавании образов является подход, согласно которому данные, описывающие классы образов, представляются в виде аналитически определяемых многообразий. Например, в работах [1.3, 1.57] показано, что многие важные группы преобразований автоматически будут выполняться, если рассматриваемые классы соответствуют линейным подпространствам. В этом случае принадлежность неизвестного входного образа некоторому классу анализируется с точки зрения расстояния его представления до такого подпространства. Само подпространство определяется своими базисными векторами, в качестве которых можно выбрать, например, векторы представлений образов или некоторые статистически заданные переменные, как это будет показано ниже. Входной образ классифицируется в соответствии с его сходством с определенной общей линейной комбинацией базисных векторов. Этот способ значительно отличается от метода прямого сравнения неизвестных векторов с весовыми векторами, который обычно используется в большинстве нейросетевых подходов.

В качестве примера, иллюстрирующего вышесказанное, можно привести классификацию различных спектров. Рассмотрим некоторый источник акустических сигналов. В большинстве случаев такие сигналы порождаются различными формами механических колебаний. В данной задаче резонансные частоты фиксированы, но интенсивности форм колебаний зависят, помимо прочего, от условий возбуждения, которые меняются более или менее случайно.

Оглавление.
Предисловие к третьему изданию.
Предисловие ко второму изданию.
Предисловие к первому изданию.
Глава 1. Математическое введение.
1.1. Математические понятия и обозначения.
1.1.1. Векторное пространство и связанные с ним понятия.
1.1.2. Матричные обозначения.
1.1.3. Собственные векторы и собственные значения матриц.
1.1.4. Дополнительные свойства матриц.
1.1.5. Матричное дифференциальное исчисление.
1.2. Измерение расстояний между образами.
1.2.1. Измерение сходства и расстояния в векторных пространствах.
1.2.2. Измерение сходства и расстояния между символьными строками.
1.2.3. Средние для совокупностей невекторных величин.
1.3. Статистический анализ образов.
1.3.1. Основные понятия теории вероятностей.
1.3.2. Проекционные методы.
1.3.3. Классификация с учителем.
1.3.4. Классификация без учителя.
1.4. Классификация методами подпространств.
1.4.1. Основной метод подпространств.
1.4.2. Адаптация моделирующего подпространства к подпространству входов.
1.4.3. Обучающийся метод подпространств.
1.5. Векторное квантование.
1.5.1. Определения.
1.5.2. Вывод алгоритма векторного квантования.
1.5.3. Точечная плотность в векторном квантовании.
1.6. Динамически расширяющийся контекст.
1.6.1. Постановка задачи.
1.6.2. Автоматическое формирование контекстно-независимых продукций.
1.6.3. Бит конфликта.
1.6.4. Формирование памяти для контекстно-зависимых продукций.
1.6.5. Алгоритм корректировки новых строк.
1.6.6. Оценочная процедура для неудачного поиска.
1.6.7. Практические эксперименты.
Глава 2. Нейронное моделирование.
2.1. Модели, парадигмы и методы.
2.2. История основных идей нейронного моделирования.
2.3. Работы по искусственному интеллекту.
2.4. О сложности биологических нервных систем.
2.5. Чем не являются мозговые схемы.
2.6. Связь между биологическими и искусственными нейронными сетями.
2.7. Какие функции мозга обычно моделируют?.
2.8. Когда следует использовать нейронные вычисления?.
2.9. Преобразование, релаксация и декодирование.
2.10. Виды искусственных нейронных сетей.
2.11. Простая нелинейная динамическая модель нейрона.
2.12. Три этапа развития нейронных моделей.
2.13. Правила обучения.
2.13.1. Правило Хебба.
2.13.2. Правило обучения типа Риккати.
2.13.3. Правило обучения, основанное на анализе главных компонент.
2.14. Некоторые действительно трудные проблемы.
2.15. Карты мозга.
Глава 3. Основной вариант самоорганизующейся карты.
3.1. Качественное введение в самоорганизующиеся карты.
3.2. Исходный пошаговый алгоритм SOM.
3.3. Алгоритм SOM, основанный на скалярном произведении.
3.4. Другие предварительные примеры отображений, сохраняющих топологию.
3.4.1. Упорядочение эталонных векторов во входном пространстве.
3.4.2. Демонстрации упорядочения откликов в выходном пространстве.
3.5. Основные математические подходы к процессам самоорганизации.
3.5.1. Одномерный случай.
3.5.2. Конструктивное доказательство упорядоченности еще для одной одномерной SOM.
3.6. Пакетный вариант алгоритма SOM.
3.7. Инициализация алгоритмов SOM.
3.8. Об «оптимальном» коэффициенте скорости обучения.
3.9. Влияние вида функции соседства.
3.10. Следует ли алгоритм SOM из меры искажения?.
3.11. Попытка оптимизации алгоритма SOM.
3.12. Точечная плотность модельных векторов.
3.12.1. Ранние исследования.
3.12.2. Численная проверка точечных плотностей в конечной одномерной SOM.
3.13. Практические советы, облегчающие получение хороших карт.
3.14. Примеры анализа данных с помощью SOM.
3.14.1. Карты признаков в случае полной матрицы данных.
3.14.2. Карта для матрицы с неполными данными (случай пропущенных данных): «карта благосостояния».
3.15. Использование оттенков серого цвета при отображении кластеров в SOM.
3.16. Интерпретация отображения SOM.
3.16.1. «Локальные главные компоненты».
3.16.2. Влияние некоторых величин на структуру кластеров.
3.17. Ускорение вычислений при формировании SOM.
3.17.1. Быстрый поиск победителя.
3.17.2. Увеличение числа элементов в SOM.
3.17.3. Сглаживание.
3.17.4. Комбинация сглаживания, увеличения размера решетки и алгоритма SOM.
Глава 4. Физиологическая интерпретация SOM.
4.1. Условия существования карт абстрактных признаков в мозгу
4.2. Два различных латеральных механизма управления.
4.2.1. WTA-функция, основанная на латеральном управлении активностью.
4.2.2. Латеральное управление пластичностью.
4.3. Уравнение обучения.
4.4. Системные модели SOM и их применение.
4.5. Резюме свойств физиологической модели SOM.
4.6. Сходства между картами мозга и моделируемыми картами признаков.
4.6.1. Фактор размера.
4.6.2. Карты с изъянами.
4.6.3. Перекрывающиеся карты.
Глава 5. Варианты самоорганизующихся карт.
5.1. Обзор идей, связанных с видоизменениями основного варианта самоорганизующейся карты.
5.2. Адаптивные тензорные веса.
5.3. Поиск решения для совокупности самоорганизующихся карт с древовидной структурой связей между ними.
5.4. Различные определения соседства.
5.5. Области соседства в пространстве сигналов.
5.6. Динамические элементы, добавляемые в SOM.
5.7. Самоорганизующиеся карты для символьных строк.
5.7.1. Инициализация SOM для строк.
5.7.2. Пакетный вариант самоорганизующейся карты для строк.
5.7.3. Выявление победителя в ситуации неразличимости сравниваемых строк.
5.7.4. Простой пример: SOM для фонетической транскрипции.
5.8. Операторные карты.
5.9. Самоорганизующиеся карты с эволюционным обучением.
5.9.1. Эволюционно-обучающиеся фильтры.
5.9.2. Самоорганизация с использованием функции приспособленности.
5.10. Самоорганизующиеся карты, формируемые с учителем.
5.11. Адаптивно-подпространственная самоорганизующаяся карта.
5.11.1. Проблема инвариантных признаков.
5.11.2. Соотношение между инвариантными признаками и линейными подпространствами.
5.11.3. Алгоритм ASSOM.
5.11.4. Получение алгоритма ASSOM с использованием стохастической аппроксимации.
5.11.5. Эксперименты с алгоритмом ASSOM.
5.12. Адаптивно-подпространственная SOM, управляемая c помощью обратных связей (FASSOM).
Глава 6. Обучающееся векторное квантование.
6.1. Оптимальное решение.
6.2. Алгоритм LVQ1.
6.3. Алгоритм LVQ1 с оптимальной скоростью обучения (OLVQ1)
6.4. Пакетный алгоритм LVQ1.
6.5. Пакетный алгоритм LVQ1 для символьных строк.
6.6. Алгоритм LVQ2 (LVQ2.1).
6.7. Алгоритм LVQ3.
6.8. Различия между алгоритмами LVQ1, LVQ2 и LVQ3.
6.9. Общий анализ алгоритмов LVQ.
6.10. Алгоритм LVQ-гиперкарты.
6.11. Алгоритм LVQ–SOM.
Глава 7. Применения самоорганизующихся карт.
7.1. Предобработка оптических образов.
7.1.1. Размывание.
7.1.2. Разложение по глобальным признакам.
7.1.3. Спектральный анализ.
7.1.4. Разложение по локальным свойствам (вейвлетам).
7.1.5. Выводы относительно признаков оптических образов.
7.2. Акустическая предобработка.
7.3. Мониторинг процессов и машин.
7.3.1. Выбор входных величин и их масштабирование.
7.3.2. Анализ больших систем.
7.4. Диагностирование речевых характеристик.
7.5. Транскрибирование слитной речи.
7.6. Текстурный анализ.
7.7. Контекстные карты.
7.7.1. Искусственно сформированные выражения.
7.7.2. Текст на естественном языке.
7.8. Организация больших информационных массивов.
7.8.1. Статистические модели документов.
7.8.2. Формирование очень больших карт WEBSOM методом проекций.
7.8.3. Карта WEBSOM для электронных аннотаций патентов.
7.9. Управление роботизированной рукой.
7.9.1. Одновременное обучение по входным и выходным параметрам.
7.9.2. Другой пример управления роботизированной рукой.
7.10. Телекоммуникация.
7.10.1. Адаптивный детектор для квантованных сигналов.
7.10.2. Коррекция канала в адаптивной квадратурной амплитудной модуляции.
7.10.3. Помехозащищенная передача изображений с помощью пары SOM.
7.11. SOM как алгоритм оценивания.
7.11.1. Симметричное (автоассоциативное) отображение.
7.11.2. Асимметричное (гетероассоциативное) отображение.
Глава 8. Средства программного обеспечения для SOM.
8.1. Обязательные требования к программам, реализующим SOM
8.2. Желательные дополнительные свойства программ, реализующих SOM.
8.3. Пакеты программ, реализующие SOM.
8.3.1. Пакет SOM_PAK.
8.3.2. Пакет SOM Toolbox.
8.3.3. Инструментальный пакет Nenet (Neural Networks Tool).
8.3.4. Пакет Viscovery SOMine.
8.4. Примеры использования пакета SOM_PAK.
8.4.1. Форматы файлов.
8.4.2. Описание программ пакета SOM_PAK.
8.4.3. Типовая обучающая последовательность.
8.5. Нейросетевые пакеты программ, включающие средства работы с SOM.
Глава 9. Аппаратные реализации самоорганизующихся карт.
9.1. Аналоговое классифицирующее устройство.
9.2. Быстрые цифровые классифицирующие схемы.
9.3. Реализация самоорганизующихся карт с использованием SIMD-машин.
9.4. Транспьютерные реализации самоорганизующихся карт.
9.5. Реализации самоорганизующихся карт с использованием систолических матриц.
9.6. Микросхема COKOS.
9.7. Микросхема TInMНС.
9.8. Микросхема NBISOM_25.
Глава 10. Обзор литературы по самоорганизующимся картам.
10.1. Книги и обзорные статьи.
10.2. Ранние работы по соревновательному обучению.
10.3. Состояние математических исследований.
10.3.1. Результаты для топологии нулевого порядка (классическое векторное квантование).
10.3.2. Альтернативные топологические отображения.
10.3.3. Альтернативные архитектуры.
10.3.4. Функциональные варианты.
10.3.5. Теория базисной самоорганизующейся карты.
10.4. Обучающееся векторное квантование.
10.5. Различные применения самоорганизующихся карт.
10.5.1. Машинное зрение и анализ изображений.
10.5.2. Оптическое распознавание печатных и рукописных символов.
10.5.3. Анализ и распознавание речи.
10.5.4. Акустические и музыкальные исследования.
10.5.5. Обработка сигналов и радиолокационные измерения.
10.5.6. Телекоммуникации.
10.5.7. Промышленные и другие измерения в реальных ситуациях.
10.5.8. Управление процессами.
10.5.9. Робототехника.
10.5.10. Проектирование электронных схем.
10.5.11. Физика.
10.5.12. Химия.
10.5.13. Биомедицинские исследования, не связанные с обработкой изображений.
10.5.14. Нейрофизиологические исследования.
10.5.15. Анализ и обработка данных.
10.5.16. Лингвистика и проблемы искусственного интеллекта.
10.5.17. Математические и другие теоретические проблемы.
10.6. Применения обучающегося векторного квантования.
10.7. Обзор реализаций самоорганизующихся карт и обучающегося векторного квантования.
Глава 11. Толковый словарь «нейронных» терминов.
Литература.

Купить .








Теги: учебник по информатике :: информатика :: компьютеры :: Кохонен :: нейросеть