Базовые приёмы работы с файловым сервером на базе windows server

Основные функции файловых систем

Файловая система отвечает за оптимальное логическое распределение информационных данных на конкретном физическом носителе. Драйвер ФС организует взаимодействие между хранилищем, операционной системой и прикладным программным обеспечением. Правильный выбор файловой системы для конкретных пользовательских задач влияет на скорость обработки данных, принципы распределения и другие функциональные возможности, необходимые для стабильной работы любых компьютерных систем. Иными словами, это совокупность условий и правил, определяющих способ организации файлов на носителях информации.

Основными функциями файловой системы являются:

размещение и упорядочивание на носителе данных в виде файлов;
определение максимально поддерживаемого объема данных на носителе информации;
создание, чтение и удаление файлов;
назначение и изменение атрибутов файлов (размер, время создания и изменения, владелец и создатель файла, доступен только для чтения, скрытый файл, временный файл, архивный, исполняемый, максимальная длина имени файла и т.п.);
определение структуры файла;
поиск файлов;
организация каталогов для логической организации файлов;
защита файлов при системном сбое;
защита файлов от несанкционированного доступа и изменения их содержимого.

Эти разные корни

Начальной точкой для всех имен дерева DFS служит корень распределенной файловой системы. Фактически корень – это некоторый общий ресурс, находящийся на сервере, все остальные логические имена системы DFS будут подключаться как следующий иерархический уровень. Корни в DFS могут быть двух видов, каждый отличается способами хранения данных и возможностями. Изолированный (автономный) корень (Standalone DFS) не связан с Active Directory, и все ссылки на сетевые ресурсы хранятся в реестре самого сервера DFS. Такой корень не использует DFS Replication, то есть не предполагает дублирование информации на другие ресурсы, и поэтому не обеспечивает отказоустойчивость. При выходе из строя сервера DFS вся иерархия становится не доступной, хотя пользователи могут обращаться к ресурсам напрямую. К слову, несколько Standalone DFS серверов способны работать в кластере, поэтому эта проблема может быть решена. Если сервер DFS является членом домена, используется доменный корень (Domain-based DFS). При таком варианте можно подключать несколько реплик и использовать DFS Replication для репликации как самого корня, так и ссылок DFS. Если в Domain-based DFS корни находятся на компьютерах под управлением Win2k и Win2k3, то такой корень называется “Mixed mode domain DFS“.

Архитектура HDFS

Кластер HDFS включает следующие компоненты :

Управляющий узел, узел имен или сервер имен (NameNode) – отдельный, единственный в кластере, сервер с программным кодом для управления пространством имен файловой системы, хранящий дерево файлов, а также мета-данные файлов и каталогов. NameNode – обязательный компонент кластера HDFS, который отвечает за открытие и закрытие файлов, создание и удаление каталогов, управление доступом со стороны внешних клиентов и соответствие между файлами и блоками, дублированными (реплицированными) на узлах данных. Сервер имён раскрывает для всех желающих расположение блоков данных на машинах кластера.
Secondary NameNode — вторичный узел имен, отдельный сервер, единственный в кластере, который копирует образ HDFS и лог транзакций операций с файловыми блоками во временную папку, применяет изменения, накопленные в логе транзакций к образу HDFS, а также записывает его на узел NameNode и очищает лог транзакций. Secondary NameNode необходим для быстрого ручного восстанавления NameNode в случае его выхода из строя.
Узел или сервер данных (DataNode, Node) – один их множества серверов кластера с программным кодом, отвечающим за файловые операции и работу с блоками данных. DataNode – обязательный компонент кластера HDFS, который отвечает за запись и чтение данных, выполнение команд от узла NameNode по созданию, удалению и репликации блоков, а также периодическую отправку сообщения о состоянии (heartbeats) и обработку запросов на чтение и запись, поступающих от клиентов файловой системы HDFS. Стоит отметить, что данные проходят с остальных узлов кластера к клиенту мимо узла NameNode.
Клиент (client) – пользователь или приложение, взаимодействующий через специальный интерфейс (API – Application Programming Interface) с распределенной файловой системой. При наличии достаточных прав, клиенту разрешены следующие операции с файлами и каталогами: создание, удаление, чтение, запись, переименование и перемещение. Создавая файл, клиент может явно указать размер блока файла (по умолчанию 64 Мб) и количество создаваемых реплик (по умолчанию значение равно 3-ем).

Архитектура HDFS (Hadoop Distributed File System)

Взаимодействие узлов имен, узлов данных и клиентов осуществляется по протоколам на основе TCP/IP.

Настройка DFS

Для примера настроим DFS на компьютере под управлением Win2k3 с SP2, все настройки в SP1 аналогичны. В настройках DFS в R2 и Win2k есть некоторые отличия, но не настолько глобальные, чтобы не разобраться самостоятельно. Все управление распределенной файловой системой выполняется централизованно с помощью оснастки MMC “Распределенная файловая система DFS“, которую можно вызвать во вкладке “Администрирование” Панели управления Windows. С ее помощью можно создавать и удалять корни, подключаться к любым корням DFS. Удобно, что в одной вкладке может отображаться несколько корней DFS. В случае работы корня в “Mixed mode domain DFS“, то есть когда реплики и корни DFS располагаются на компьютерах под управлением разных версий Windows, управление DFS необходимо производить с компьютера, работающего под Win2k3. Как вариант, можно установить пакет Win2k3 Administration Tools Pack (adminpak.msi), который лежит в свободном доступе на сайте корпорации. В этом случае для управления можно использовать и компьютеры с WinXP. Информацию по этому пакету найдешь по адресу support.microsoft.com/kb/304718. Кроме этого, для работы с DFS также можно использовать утилиты командной строки dfscmd.exe и dfsutil.exe. Последняя имеет больше возможностей, но по умолчанию не включена в состав операционной системы, чтобы ее использовать, необходимо установить пакет Win2k3 Support Tools

Обрати внимание, что для успешной установки Support Tools требуется скачать два файла: suptools.msi и support.cab

Для создания нового корня вызываем оснастку, щелкаем мышкой по заголовку и в контекстном меню выбираем “Создать корень” (New Root), как вариант, можно выбрать аналогичный пункт в меню “Действие”. Появляется Мастер создания нового корня (New Root Wizard), следуем его подсказкам. На втором шаге выбираем тип создаваемого корня (доменный или изолированный), указываем несущий домен и сервер. После проверки соединения с выбранным сервером вводим имя корня

Обрати внимание, как будет выглядеть UNC путь к новому корню, по умолчанию \\server\nameshare. Так как на данный момент общего каталога не существует, на следующем шаге нужно выбрать локальный каталог, который будет использоваться в качестве общего

Этот каталог не содержит реальных данных, в нем будут находиться ссылки, указывающие на физическое расположение данных. Мастер создает ресурсы, разрешающие чтение и выполнение членам группы Пользователи. При необходимости следует скорректировать разрешения. Теперь нажимаем кнопку Готово, новый корень появится в окне консоли. Если сервер работает под управлением Win2k3, аналогичным образом создаем и другие корни. С помощью команды Проверить статус (Check Status), вызываемую из меню консоли или контекстного меню, можно проверить состояние реплики. Состояние будет указано в одноименном столбце и рядом с именем появится кружок с отметкой. Если она зеленого цвета, значит, все нормально. Для проверки можно зайти по указанному UNC или использовать на локальном компьютере команду «net share» или «net view computer_name» с удаленного. Команда «dfsutil /Root:\\server\share /View» покажет информацию о DFS.

После создания корня его можно опубликовать в Active Directory. Для этого в контекстном меню выбираем Свойства, переходим на вкладку Публикация и устанавливаем флажок “Опубликовать этот корень в Active Directory”. Доменные корни публикуются автоматически и в обязательном порядке.

Доменные пространства имен в режиме Windows Server 2008

Система Windows Server 2008 поддерживает создание доменных пространств имен в режиме Windows Server 2008. При этом включается поддержка перечисления на основе доступа и обеспечивается повышенная масштабируемость. Доменное пространство имен, появившееся в Windows 2000 Server, теперь называется «доменное пространство имен (режим Windows 2000 Server)».
Чтобы можно было использовать режим Windows Server 2008, домен и доменное пространство имен должны удовлетворять следующим минимальным требованиям:

домен должен использовать режим работы домена Windows Server 2008;
все серверы пространства имен должны работать под управлением Windows Server 2008.

Если среда поддерживает режим Windows Server 2008, выбирайте его при создании доменных пространств имен. Этот режим обеспечивает дополнительные возможности и повышенную масштабируемость, а также исключает необходимость миграции пространства имен из режима Windows 2000 Server.

Актуальность содержимого

Репликация DFS в Windows Server 2008 включает новую функцию «Актуальность содержимого», не позволяющую серверу, который длительное время не был подключен к сети, переписать при возврате в оперативный режим работы актуальные данные устаревшими.

Усовершенствования обработки непредвиденных отключений

В Windows Server 2008 репликация DFS теперь обеспечивает более быстрое восстановление работоспособности системы после непредвиденных отключений. Непредвиденное отключение может произойти по причинам, указанным ниже.

Непредвиденное отключение репликации DFS может произойти при аварийном завершении процесса репликации DFS или его остановке из-за недостатка ресурсов.
Непредвиденное отключение компьютера может произойти при сбое в работе компьютера или нарушении его энергоснабжения во время выполнения репликации DFS.
Непредвиденное отключение тома может произойти при нарушении энергоснабжения тома с содержимым репликации DFS, при его отключении или отсоединении.

Непредвиденное отключение компьютера или тома может привести к потере изменений файловой системы NTFS, которые не были скопированы на диск. В результате может нарушиться согласование базы данных репликации DFS с файловой системой на диске.
В системе Windows Server 2003 R2 непредвиденное отключение может вынудить механизм репликации DFS полностью воссоздать базу данных, на что может потребоваться длительное время. В Windows Server 2008 воссоздавать базу данных после непредвиденных отключений обычно не требуется, благодаря чему работоспособность восстанавливается гораздо быстрее.

Функции повышения производительности репликации DFS

В системе Windows Server 2008 производительность репликации DFS повышена за счет следующих факторов:

более быстрая репликация небольших и крупных файлов;
более быстрое выполнение первоначальной синхронизации;
оптимизированное использование пропускной способности локальных сетей и сетей с высокой задержкой, например, глобальных.

Дополнительные сведения о факторах, повышающих производительность репликации DFS, см. в приведенной ниже таблице.

Windows Server 2003 R2	Windows Server 2008
ножественные удаленные вызовы процедур	Асинхронные каналы удаленного вызова процедур (при выполнении репликации с другими серверами с ОС Windows Server 2008)
Синхронный ввод-вывод	Асинхронный ввод-вывод
Буферизованный ввод-вывод	Небуферизованный ввод-вывод
Ввод-вывод с нормальным приоритетом	Ввод-вывод с низким приоритетом (снижает нагрузку на систему в результате репликации)
Возможность загрузки сразу 4 файлов	Возможность загрузки сразу 16 файлов

Отчет о распространении

Управление распределенной файловой системой в Windows Server 2008 поддерживает новый тип диагностических отчетов – отчеты о распространении. Эти отчеты позволяют получать сведения о ходе репликации тестового файла, созданного при тестировании распространения.

Шаг 1. Выбор оборудования и подготовка сервера

В качестве сервера, желательно, выбрать профессиональное оборудование. Системные требования для файлового сервера не высокие:

Процессор может быть самый простой;
Оперативная память также не сильно используется;
Дисковая система — самый основной компонент. Ее объем зависит от специфики бизнеса. Примерная формула — не менее 15 Гб на пользователя и не менее 1 Тб на сервер. До 50 пользователей можно рассматривать диски SATA, после — SAS или SSD.

Например, для компании в 300 пользователей подойдет сервер с процессором Xeon E3, 8 Гб ОЗУ и 5 Тб дискового пространства на дисках SAS 10K.

Дополнительные требования

Для обеспечения сохранности информации при выходе из строя жесткого диска, необходим RAID-контроллер. Настройка последнего выполняется из специального встроенного программного обеспечения, которое запускается при загрузке сервера;
Сервер должен быть подключен к источнику бесперебойного питания;
Необходимо предусмотреть резервное копирование. Для этого нужен дисковый накопитель (внешний жесткий диск) или другой сервер.

Подробнее о выборе оборудования читайте статью Как выбрать сервер.

Совместимые архитектуры

Архитектура	Размещение клиента DFS	Размещение корня DFS
MS-DOS, Windows 3.x, Windows для рабочих групп и серверы NetWare	Нет	Нет
Windows 95	Да, необходимо загрузить клиент	Нет
Windows 98	Да, изолированный клиент включен; необходимо загрузить клиент для домена	Нет
Windows NT 4.0 и пакет обновления 3	Да, изолированный клиент включен	Да, только изолированный корень DFS
Windows 2000 и семейство Windows Server 2003	Да, клиент включен	Да, изолированная и доменная DFS

Функция перечисления на основе доступа

Перечисление на основе доступа позволяет пользователям просматривать на файловом сервере только те файлы и папки, на которые у них имеются разрешения доступа. По умолчанию эта функция для пространств имен отключена (хотя для создаваемых общих папок в Windows Server 2008 она по умолчанию включена) и поддерживается только в изолированных пространствах имен DFS на компьютерах с ОС Windows Server 2008 и в доменных пространствах имен в режиме Windows Server 2008.
Чтобы включить перечисление на основе доступа в пространстве имен, введите в командной строке следующую команду:
dfsutil property abde enable \\ <namespace_root>
После включения перечисления на основе доступа установите соответствующий уровень безопасности для каждой папки распределенной файловой системы (DFS), изменив списки управления доступом (ACL) с помощью следующей команды:
dfsutil property ACL grant \\<namespace_root>\<folder> <username>:<permission>

Управление DFS из командной строки

Пространства имен DFS в Windows Server 2008 включают обновленную версию команды Dfsutil и новую команду Dfsdiag, которую можно использовать для диагностики проблем с пространствами имен.
Для управления распределенной файловой системой из командной строки можно применять команды, перечисленные в следующей таблице, или написать сценарии, которые используют инструментарий WMI.

Команда	Описание
DfsUtil	Управление пространствами имен DFS, серверами и клиентскими компьютерами.
DfsCmd	Настройка папок DFS и конечных объектов папок в пространстве имен DFS.
DfsDiag	Выполнение диагностики пространств имен DFS.
DfsrAdmin	Управление реплицированными папками DFS.
DfsrDiag	Выполнение диагностики репликации DFS.

Ограничения

DFS-R обеспечивает более надежный и эффективный механизм репликации и хорошо справляется с динамическими данными, но при планировании инфраструктуры DFS важно понимать ограничения DFS-R в плане масштабируемости. Репликационные группы никак не связаны с конфигурацией пространства имен DFS, но есть определенные ограничения:

Каждый сервер может быть членом не более 256 репликационных групп.
В каждой репликационной группе может быть не более 256 реплицируемых папок.
У каждого сервера может быть не более 256 подключений (например, 128 входящих и столько же исходящих).
На каждом сервере произведение числа репликационных групп на число реплицируемых папок и на количество одновременно активных подключений не может превышать 1024.
В каждой репликационной группе может быть не более 256 членов.
На томе может размещаться не более 8 млн реплицируемых файлов, а на сервере может храниться не более 1 ТБ таких файлов.
Максимальный размер файла — 64 ГБ.

Что такое файловая система

Обычно вся информация записывается, хранится и обрабатывается на различных цифровых носителях в виде файлов. Далее, в зависимости от типа файла, кодируется в виде знакомых расширений – *exe, *doc, *pdf и т.д., происходит их открытие и обработка в соответствующем программном обеспечении. Мало кто задумывается, каким образом происходит хранение и обработка цифрового массива в целом на соответствующем носителе.

Операционная система воспринимает физический диск хранения информации как набор кластеров размером 512 байт и больше. Драйверы файловой системы организуют кластеры в файлы и каталоги, которые также являются файлами, содержащими список других файлов в этом каталоге. Эти же драйверы отслеживают, какие из кластеров в настоящее время используются, какие свободны, какие помечены как неисправные.

Запись файлов большого объема приводит к необходимости фрагментации, когда файлы не сохраняются как целые единицы, а делятся на фрагменты. Каждый фрагмент записывается в отдельные кластеры, состоящие из ячеек (размер ячейки составляет один байт). Информация о всех фрагментах, как части одного файла, хранится в файловой системе.

Файловая система связывает носитель информации (хранилище) с прикладным программным обеспечением, организуя доступ к конкретным файлам при помощи функционала взаимодействия программ API. Программа, при обращении к файлу, располагает данными только о его имени, размере и атрибутах. Всю остальную информацию, касающуюся типа носителя, на котором записан файл, и структуры хранения данных, она получает от драйвера файловой системы.

На физическом уровне драйверы ФС оптимизируют запись и считывание отдельных частей файлов для ускоренной обработки запросов, фрагментации и «склеивания» хранящейся в ячейках информации. Данный алгоритм получил распространение в большинстве популярных файловых систем на концептуальном уровне в виде иерархической структуры представления метаданных (B-trees). Технология снижает количество самых длительных дисковых операций – позиционирования головок при чтении произвольных блоков. Это позволяет не только ускорить обработку запросов, но и продлить срок службы HDD. В случае с твердотельными накопителями, где принцип записи, хранения и считывания информации отличается от применяемого в жестких дисках, ситуация с выбором оптимальной файловой системы имеет свои нюансы.

Репликация папки SYSVOL с использованием репликации DFS

Репликация DFS заменяет службу репликации файлов в качестве механизма репликации папки SYSVOL доменных служб Active Directory в доменах, работающих в режиме домена Windows Server 2008.
Для упрощения миграции существующих папок SYSVOL в механизм репликации DFS в состав системы Windows Server 2008 включено средство, помогающее заменить службу репликации файлов в качестве средства репликации папок SYSVOL репликацией DFS. Это средство обеспечивает следующие возможности:

позволяет администраторам запустить миграцию папок SYSVOL в службу репликации DFS путем указания всех необходимых параметров и имеет грамотно настроенные параметры по умолчанию;
предоставляет средства поиска и устранения неполадок, которые могут возникнуть во время миграции;
включает средства наблюдения, позволяющие администраторам следить за процессом миграции.

Результаты использования средства Dcpromo на компьютере с ОС Windows Server 2008 зависят от режима работы домена:

если домен работает в режиме Windows Server 2008, сервер использует для репликации папок SYSVOL репликацию DFS;
если домен работает в режиме Windows Server 2003, сервер использует для репликации папок SYSVOL службу репликации файлов.

Преимущества

Простой доступ к файлам

Распределенная файловая система упрощает доступ к файлам. Пользователи используют единый сетевой ресурс для доступа к файлам, даже если эти файлы физически находятся на разных серверах. Даже если изменится физическое расположение целевой папки, это не повлияет на доступ пользователей к ней. Они смогут обращаться к папке, как раньше, поскольку её видимое расположение не изменится. Пользователям не требуется подключать несколько дисков для доступа к своим файлам. Кроме того, задачи по обслуживанию сервера, обновлению программ и другие, которые обычно требуют отключения сервера, могут выполняться без отключения пользователей от ресурсов. Это особенно полезно для веб-серверов. Выбрав корневой каталог веб-узла в качестве корня DFS, можно перемещать ресурсы в рамках распределенной файловой системы, не нарушая ссылки HTML.
Это самая главная функция DFS. С помощью т.н. «корня» пользователи не задумываются, где находятся те или иные данные, а просто вводят одно и то же имя, например \\hq.com\doc.
Несмотря на единый «корень», разные или одни и те же данные можно сгруппировать с помощью нескольких адресных пространств. Например, пути \\hq.com\docs или \\hq.com\branchdocs могут содержать как разные, так и повторяющиеся данные.

Доступность

Доменные DFS обеспечивают пользователям доступ к файлам двумя способами.
Во-первых, операционная система Windows Server 2003 автоматически публикует топологию DFS в Active Directory. Благодаря этому пространство имен DFS всегда видимо для пользователей всех серверов в домене.
Во-вторых, администратор может реплицировать корень DFS и целевые папки. Репликация означает дублирование корней и целевых папок DFS на нескольких серверах домена. При этом пользователи всегда могут получить доступ к своим файлам, даже если один из физических серверов, на котором эти файлы находятся, становится недоступным.

Возможность кластеризации

Пространства имен DFS в системе Windows Server 2008 поддерживают создание автономных пространств имен в отказоустойчивом кластере с помощью оснастки «Управление DFS». Для этого необходимо указать отказоустойчивый кластер на странице Сервер пространства имен мастера создания нового пространства имен.

Отказоустойчивость

Повышение отказоустойчивости осуществляется за счет репликации корня на несколько серверов, использования AD как места хранения корня и репликации самих данных между разными серверами.

Эффективная загрузка сервера

Корень DFS может поддерживать несколько целевых папок DFS, которые физически распределены по сети. Например, это полезно, если есть файл, который активно используется пользователями. Пользователи будут обращаться к этому файлу не на одном сервере, сильно загружая его, а к файлу, распределенному системой DFS по разным серверам. Однако для пользователей этот файл будет виден в едином месте в сети.

Безопасность файлов и папок

Поскольку общие ресурсы, управляемые DFS, используют стандартные разрешения NTFS и разрешения общего доступа к файлам, можно использовать существующие группы безопасности и учетные записи пользователей, чтобы гарантировать, что только авторизованные пользователи имеют доступ к важным данным.

Удобный поиск папок или конечных объектов папок в пространстве имен

Оснастка «Управление распределенной файловой системой (DFS)» в Windows Server 2008 поддерживает поиск папок или конечных объектов папок в пространстве имен. Чтобы воспользоваться этой возможностью, выберите пространство имен, откройте вкладку Поиск, введите строку поиска в текстовое поле и нажмите кнопку Найти.

Шаг 3. Базовые настройки файлового сервера

Это стандартные действия, которые выполняются при настройке обычного файлового сервера.

Установка роли и вспомогательных компонентов

Как правило, данная роль устанавливается вместе с Windows. Остается только это проверить и доустановить компоненты, которые нужны для полноценной эксплуатации сервиса.

Открываем Диспетчер серверов. Он может быть запущен из панели быстрого запуска.

Нажимаем Управление — Добавить роли и компоненты.

В открывшемся окне оставляем Установка ролей и компонентов и нажимаем Далее.

В следующем окне выбираем нужный сервер (выбран по умолчанию, если работаем на сервере, а не через удаленную консоль) и нажимаем Далее.

Среди ролей находим Файловые службы и службы хранилища, раскрываем ее и проверяем, что установлены галочки напротив следующих компонентов:

Службы хранения;
Файловый сервер;

Если данные службы не установлены, выбираем их и нажимаем Далее.

В окне Выбор компонентов просто нажимаем Далее.

Откроется окно Подтверждение установки компонентов. Нажимаем Установить и после окончания процесса перезагружаем сервер.

Настройка шары (общей папки)

Создаем первую папку, которую хотим предоставить в общее использование. Затем кликаем по ней правой кнопкой мыши и нажимаем Свойства:

В открывшемся окне переходим на вкладку Доступ и нажимаем Расширенная настройка:

Ставим галочку Открыть общий доступ к этой папке и нажимаем кнопку Разрешения:

Предоставляем полный доступ всем пользователям:

* конечно же, мы не будем давать доступ всем пользователям, но для этого есть вкладка безопасность (см. ниже).

Нажимаем OK и еще раз OK.

Теперь переходим на вкладку Безопасность и нажимаем Дополнительно:

В открывшемся окне нажимаем Отключение наследования и Преобразовать унаследованные разрешения в явные разрешения этого объекта.

Нажимаем OK и Изменить.

Выставляем необходимые права на папку, например:

Совет: старайтесь управлять правами на ресурсы только при помощи групп. Даже если доступ необходимо предоставить только одному человеку!

Теперь нажимаем OK два раза. Папка настроена для общего использования и в нашем примере доступна по сетевому пути \\fs1\Общая папка.

Настройка пространства имен DFS

В меню Start выберете Windows Administrative Tools -> DFS Managment.

Или в поиске введите команду dfsmgmt.msc.

Для создания нового пространства имен выберете в правой части экрана New Namespace.

Введите название сервера.

Введите любое удобное для вас название. Нажмите кнопку Edit Settings.

В открывшемся окне необходимо настроить права доступа к пространству имен для пользователей сети. Чтобы предоставить полный доступ, нажмите кнопку Customize.

Выберете полный контроль с помощью галочек и нажмите Apply -> Ok.

На следующем шаге выберете Domain-based namespace, т.к. используются доменные службы Active Directory (AD DS).

Примечание:

Domain-based namespace — обладает преимуществами, позволяет обеспечить доступность пространства имен с помощью нескольких серверов пространств имен, скрывает имя сервера пространства имен от пользователей, упрощает замену сервера пространства имен или перенос пространства имен на другой сервер.

Stand-alone namespace — позволяет создать распределенную файловую систему не используя доменные службы Active Directory (AD DS), увеличивает доступность namespace с помощью отказоустойчивого кластера.

Проверьте конфигурацию и нажмите Create.

В результате вы увидите сообщение об успешном создании пространства имен.

Принцип работы

Для обеспечения функционирования DFS используются:

DFS-N(Namespace) – служба пространства имен DFS
DFS-R(Replication)- служба репликация DFS.

DFS-N — служба поддерживающая виртуальное дерево каталогов, которые ссылаются на реальные сетевые каталоги(целевые каталоги или target). Эта наиболее «полезная» служба DFS, предоставляющая возможность использовать единый корень для доступа к данным. DFS-N возвращает клиенту UNC-ссылку на реальный сетевой ресурс(\\имя сервера\имя сетевого каталога), просто пользователь этого не видит и не задумывается, где находятся файлы. Возвращаемая UNC-ссылка зависит от местоположения пользователя, и если он вдруг переместился в филиал, то DFS автоматически выдаст ссылку на «местный» сервер DFS01.

Пространство имен DFS может быть реализовано двумя способами:

Распределенная файловая система с изолированным корнем(Standalone);
Доменная распределенная файловая система(Domain- based);

В случае Standalone ( такой вариант может быть и в домене AD) доступ к пространству имен осуществляется через путь \\Server_name\DFS_root, данные хранятся в реестре и поддерживается только одно пространство имен(корень), AD не требуется.

DFS-R — это служба предоставляющая репликацию данных между серверами. Т.е. если задана репликация какой либо сетевой папки между ServerA и ServerB, то служба будет с заданным интервалом реплицировать данные между папками. В конечном итоге все файлы измененные или созданные на ServerA будут прореплицированы в соответствующую папку на ServerB(и наоборот). Данная служба вызывает самое большое количество недопонимания среди новичков. DFS-R может быть полезна только в нескольких сценариях, таких как:

Совместная работа с данными в филиале и головном офисе.
Создание копии документов филиала в головном офисе.

Служба DFS-R — не замена резервному копированию или кластеру, поэтому ее использование в таком качестве нежелательно. Не следует располагать базы данных в реплицируемых папках. Однако возможно объединение папки с базами данных в одном корне.

DFS-R была создана во времена медленных интернет- соединений, когда важно было, не загружая канал, иметь в филиалах документацию и файлы из головного офиса. В случае, если один и тот же документ был открыт несколькими пользователями из разных реплицируемых местоположений — DFS просто сохраняет файл с самой новой датой

Все изменения другого пользователя будут перезаписаны. При этом DFS имеет механизм разрешения конфликтов — проигравший в конфликте файл помещается в служебную папку, откуда он может быть восстановлен администратором.

Реплицировать можно отдельные папки или корень целиком(и даже целые диски, если сделать их общими). Корень реплицировать не рекомендуется, поскольку произойдет потеря в функциональности и гибкости. DFS-R хорошо использовать для данных, которые не изменяются(PDF-файлы, программы), или для отказоустойчивости, когда один партнер по репликации работает в режиме «только чтение». Т.е. если основной файловый сервер вышел из строя, то пользователи смогут открыть документы и работать с ними. Сохранить документы на этот сервер они не смогут, но и работа в офисе не остановится.

Ограничения

Каждый сервер может быть членом не более 256 репликационных групп.
В каждой репликационной группе может быть не более 256 реплицируемых папок.
У каждого сервера может быть не более 256 подключений (например, 128 входящих и столько же исходящих).
На каждом сервере произведение числа репликационных групп на число реплицируемых папок и на количество одновременно активных подключений не может превышать 1024.
В каждой репликационной группе может быть не более 256 членов.
На томе может размещаться не более 8 млн реплицируемых файлов, а на сервере может храниться не более 1 ТБ таких файлов.
Максимальный размер файла — 64 ГБ.

Функция мгновенного реплицирования

При управлении распределенной файловой системой теперь можно принудительно выполнять репликацию немедленно, а не по расписанию репликации.

Принудительное выполнение немедленной репликации

В узле Репликация дерева консоли выберите нужную группу репликации.
Перейдите на вкладку Подключения.
Щелкните правой кнопкой мыши член, который необходимо реплицировать, и выберите пункт Реплицировать сейчас.

Поддержка контроллеров домена доступна только для чтения. В Windows Server 2008 репликация DFS поддерживает контроллеры домена только для чтения (RODC). На контроллере домена только для чтения любые изменения контроллера домена откатываются механизмом репликации DFS.

Применение Hadoop Distributed File System

HDFS – неотъемлемая часть Hadoop, проекта верхнего уровня Apache Software Foundation, и основа инфраструктуры больших данных (Big Data). Однако, Hadoop поддерживает работу и с другими распределёнными файловыми системами, в частности, Amazon S3 и CloudStore. Также некоторые дистрибутивы Hadoop, например, MapR, реализуют свою аналогичную распределенную файловую систему – MapR File System .

HDFS может использоваться не только для запуска MapReduce-заданий, но и как распределённая файловая система общего назначения, обеспечивая работу распределённых СУБД (HBase) и масштабируемых систем машинного обучения (Apache Mahout) .