Распределенная обработка данных, Никольский И.М., 2023

Распределенная обработка данных, Никольский И.М., 2023.

   Пособие посвящено обработке больших объёмов данных, хранимых распределённо на узлах вычислительной системы. Рассмотрены основные подходы к репликации и секционированию данных. Большое внимание уделяется методам синхронизации компонент распределённых систем, изложены основы технологии блокчейн, а также основная технология распределённой обработки данных MapReduce.
Данное пособие предназначено для студентов бакалавриата, обучающихся по направлению 01.03.02. «Прикладная математика и информатика», а также может использоваться в качестве вводного курса для тех, кто планирует специализироваться в сфере аналитики данных, инженерии данных и смежных областях.




Глобальное упорядочивание событий.
Во время работы распределённой системы на узлах происходят различные события: чтение, запись, завершение какого-либо вычисления и т. д. Для многих задач бывает полезно ввести глобальное упорядочивание на множестве всех событий системы. Так. например, если мы выполняем изменения реплицированных (хранящихся в нескольких экземплярах) данных, необходимо, чтобы все узлы управляющие копиями этих данных, применяли обновления в одинаковом порядке.

Естественным решением было бы упорядочить события в соответствии с физическим временем. Для этого достаточно приписать каждому событию временную метку. Но здесь мы сталкиваемся с проблемой неидеальности компьютерных часов — они могут рассинхронизироваться. Необходим механизм, который заменил бы физическое время и не зависел бы от разницы в скорости часов различных узлов. В качестве такого механизма может выступать так называемое логическое время.

Оглавление.
1. Предисловие.
2. Введение в распределённые системы.
2.1 Определение распределённой системы.
2.2 Классификация.
2.3 Причины построения распределённых систем.
2.4 Основные характеристики распределённых систем.
2.5 Модель распределённой системы.
2.6 Проблемы построения распределённых систем.
2.7 Реализация распределённых систем.
2.8 Вопросы для самопроверки.
3. Хранение данных в распределённых системах.
3.1 Секционирование.
3.2 Репликация.
3.3 Классификация СУБД.
3.4 Вопросы для самопроверки.
4. Координация в распределённых системах.
4.1 Распределённые алгоритмы.
4.2 Обнаружение отказов.
4.3 Выбор лидера.
Алгоритм Гарсии-Молины.
Кольцевой алгоритм.
4.4 Глобальное упорядочивание событий.
Причинно-следственные связи.
Логическое время.
Снимок мгновенного состояния.
4.5 Глобально упорядоченная рассылка.
4.6 Взаимное исключение.
4.7 Распределённые транзакции.
4.8 Общие протоколы консенсуса.
Теорема FLP.
Алгоритм ZAB.
4.9 Вопросы для самопроверки.
5. Блокчейн.
5.1 Роли узлов.
5.2 Структура хранения данных.
5.3 Майнинг.
5.4 Транзакции.
5.5 Правило наиболее длинной цепочки.
5.6 Безопасность лёгкого узла.
5.7 Вопросы для самопроверки.
6. Распределённая обработка данных.
6.1 Большие данные.
6.2 Виды обработки данных.
6.3 Архитектура кластера Hadoop.
6.4 Технология программирования MapReduce.
6.5 Вопросы для самопроверки.
7. Заключение.
8. Литература.



Бесплатно скачать электронную книгу в удобном формате, смотреть и читать:
Скачать книгу Распределенная обработка данных, Никольский И.М., 2023 - fileskachat.com, быстрое и бесплатное скачивание.

Скачать pdf
Ниже можно купить эту книгу по лучшей цене со скидкой с доставкой по всей России.Купить эту книгу


Скачать - pdf - Яндекс.Диск.




Теги: учебник по информатике :: информатика :: компьютеры :: Никольский :: обработка данных