Система HDFS: что это такое, для чего используется?

HDFS расшифровывается, как Hadoop Distributed File System. Hadoop — название, Distributed File System — переводится, как “распределенная файловая система”. То есть, HDFS — это система хранения и передачи файлов большого размера, с информацией, которая поблочно распределена по различным вычислительным устройствам (кластерам) с возможностью потокового доступа.

HDFS может состоять из любых устройств, главное, чтобы они были соединены в общую сеть посредством Интернета. Является иерархической системой с каталогами и вложенным в них файлами.

Как используется Hadoop Distributed File System?

HDFS используется для хранения и анализа больших массивов данных. Большинство крупных компаний (Google, Amazon и др.) используют Hadoop для обработки огромного количества данных, проходящих, через эти компании ежедневно.

Hadoop имеет такие преимущества:

  1. Доступность. Благодаря использованию кластеров, стоимость использования HDFS наиболее выгодна, по сравнению с системами, изготовленными по индивидуальному заказу.
  2. Репликация. Все элементы дублируются и хранятся на различных узлах данных. Благодаря этому достигается максимальная отказоустойчивость, не позволяющая утратить данные из-за поломки одного из устройств.
  3. Открытый код. Исходный код Hadoop находится в открытом доступе. Над его совершенствованием работают как крупные коммерческие организации, так и отдельные специалисты, которые увлекаются такими разработками. Благодаря этому достигается доступность и развитие.
  4. Коммерческие версии. HDFS сложная система, не любой специалист сможет с ходу провести настройку под конкретные задачи. Поэтому разработаны коммерческие версии (Cloudera), позволяющие быстро развернуть систему Hadoop для выполнения задачи.

Архитектура HDFS

Кластер HDFS включает следующие элементы:

  1. Управляющий узел (сервер имен). Имеет также название NameNode. Узел с программным кодом, отвечающим за полное управление Hadoop. Может создавать, удалять каталоги, работать с файлами, контролирует связь между всеми элементами системами и т.д
  2. Вторичный узел имен. Специальный узел, как и предыдущий, может быть всего один в Hadoop. Копирует образ развернутой файловой системы, со всеми логами. Используется для быстрого ручного восстановления управляющего узла при возникновении ошибок или выходе из строя.
  3. Сервер данных. Еще одно название — DataNode. Отвечает за управления файлами и блоками данных, то есть копирует, удаляет, перемещает и т.д. Обрабатывает данные и выполняется команды, которые поступает от клиентов файловой системы.
  4. Клиент. Приложение или пользователь, которые взаимодействуют с Hadoop через API. В зависимости от наличия прав доступен различный уровень взаимодействия с файлами.

Иван Осокин
Оцените автора
Новости города Салавата
Добавить комментарий