Какая операционная система лучше подходит для файлового сервера

Введение в распределенные файловые системы.

Сейчас сетевые файловые системы называют «распределенными». Этот термин отражает тот факт, что многие из этих файловых систем имеют гораздо больше возможностей, чем простая передача данных по сети. Носители данных, связанные с этими файловыми системами, не обязательно могут быть расположены на одном компьютере – они могут быть распределены между многими компьютерами.

Распределенные файловые системы OpenAFS и Coda имеют собственные механизмы управления разделами, которые упрощают возможности хранения общедоступной информации. Они так же поддерживают дублирование – способность делать копии разделов и сохранять их на других файловых серверах. Если один файловый сервер становится недоступным, то все равно к данным, хранящимся на его разделах, можно получить доступ с помощью имеющихся резервных копий этих разделов.

Самое главное различие между подходом Windows / MacOS (совместное использование каталогов и дисков) и подходом Linux, MacOS X и других Unix-подобных многопользовательских операционных систем – в том, как эти операционные системы используют и организовывают разделы. Windows / MacOS экспортируют разделы как отдельные каталоги или диски, и удаленные системы, которые хотят обратиться к общедоступным устройствам, должны обязательно подключить их к себе.

Когда самый высокий уровень организации в файловой системе – это раздел диска (например, как в файловых системах Windows), рабочие станции клиентов для получения доступа к этим данным должны обязательно подключиться к разделу и назначить ему отдельную букву в своей локальной раскладке (например, диск E, F, G, и т.д). Буквы могут быть назначены сетевым разделам в пользовательских и групповых профилях Windows (для стандартизации). Но, к сожалению, не на всех компьютерах расположение букв может быть одинаковым. Например, на компьютере с большим количеством жестких дисков и разделов нужные буквы могут быть заняты, и поэтому придется давать сетевым разделам другие обозначения.

Напротив, файловая система Unix – это иерархическая файловая система, к которой дополнительные разделы добавляются с помощью монтирования их к существующей директории. Это позволяет эффективно добавить любой источник данных в любую существующую файловую систему. Если вы монтируете новый источник информации к каталогу, являющемуся частью распределенной файловой системы, он сразу же становится доступным всем клиентам этой распределенной системы.

Современные распределенные файловые системы типа OpenAFS или Coda включают в себя специальные сервисы для управления разделами. Это позволяет вам смонтировать разделы различных файловых серверов в центральную иерархию директорий, поддерживаемую файловыми системами. OpenAFS использует центральный каталог, называемый «/afs», а Coda использует «/coda». Эти иерархии директорий доступны всем клиентам распределенной файловой системы, и выглядят одинаково на любой из клиентских рабочих станций. Это дает возможность пользователям работать со своими файлами одинаково на любом компьютере. Если ваш настольный компьютер не работает, вы совершенно спокойно можете использовать любой другой – все ваши файлы находятся в безопасности на сервере.

Распределенные файловые системы, предоставляющие одни и те же данные многим различным компьютерным системам, дают пользователям возможность использовать любую операционную систему, лучше всего подходящую для их задач. Пользователи Macintosh могут пользоваться всеми преимуществами графических инструментальных средств, доступных в Mac OS, и одновременно хранить свои данные на централизованных файловых серверах. Пользователи Windows так же могут иметь доступ к устойчивой глобальной файловой системе. Распределенные файловые системы особенно привлекательны при попытке координации работы между группами, расположенными в различных городах, государствах, или даже в разных странах. Преимущество – общие данные всегда доступны по сети, независимо от вашего местонахождения.

Практический пример использования файловых систем

Владельцы мобильных гаджетов для хранения большого объема информации используют дополнительные твердотельные накопители microSD (HC), по умолчанию отформатированные в стандарте FAT32. Это является основным препятствием для установки на них приложений и переноса данных из внутренней памяти. Чтобы решить эту проблему, необходимо создать на карточке раздел с ext3 или ext4. На него можно перенести все файловые атрибуты (включая владельца и права доступа), чтобы любое приложение могло работать так, словно запустилось из внутренней памяти.

Операционная система Windows не умеет делать на флешках больше одного раздела. С этой задачей легко справится Linux, который можно запустить, например, в виртуальной среде. Второй вариант — использование специальной  утилиты для работы с логической разметкой, такой как MiniTool Partition Wizard Free. Обнаружив на карточке дополнительный первичный раздел с ext3/ext4, приложение Андроид Link2SD и аналогичные ему предложат куда больше вариантов.

Флешки и карты памяти быстро умирают как раз из-за того, что любое изменение в FAT32 вызывает перезапись одних и тех же секторов. Гораздо лучше использовать на флеш-картах NTFS с ее устойчивой к сбоям таблицей $MFT. Небольшие файлы могут храниться прямо в главной файловой таблице, а расширения и копии записываются в разные области флеш-памяти. Благодаря индексации на NTFS поиск выполняется быстрее. Аналогичных примеров оптимизации работы с различными накопителями за счет правильного использования возможностей файловых систем существует множество.

Надеюсь, краткий обзор основных ФС поможет решить практические задачи в части правильного выбора и настройки ваших компьютерных устройств в повседневной практике.

Источники информации

Домашняя страница OpenFiler:

Архитектура OpenFiler:

Документация по установке OpenFiler (графическая):

Документация по установке OpenFiler (текстовая):

Урезанное руководство администратора OpenFiler 1.1:

DRBD (Distributed Replicated Block Device):

Установка и настройка OpenFiler с поддержкой DRBD и Heartbeat:

Неофициальный вики по высокодоступному кластеру OpenFiler:

Билл Чайлдерс (Bill Childers) — IT-менеджер из Силиконовой долины, где он живет со своей женой и двумя детьми. Ему слишком нравится Linux, возможно, ему нужно почаще выходить на солнышко. В свое свободное время посещает фестиваль чеснока в Гилрое, но он вовсе не пахнет чесноком.

Установка OpenFiler

Если вы знакомы с установкой дистрибутива Linux на основе Red Hat, тогда и установка OpenFiler не будет для вас особой проблемой. Системные требования крайне малы. Я установил OpenFiler на встраиваемый ПК с процессором 500 МГц, 512 Мб оперативной памяти и 2 Гб памяти типа CompactFlash. Однако дистрибутив можно установить и на обычный компьютер или сервер. Загрузившись с компакт-диска, вы попадете в графический установщик (если нужен текстовый режим, нужно при установке добавить аргумент )

Обратите внимание, что при установке вам нужно будет выбрать ручную (manual) разбивку диска, в противном случае позже вы не сможете настраивать диски-хранилища в админке OpenFiler. В принципе, больше ничего не отличает OpenFiler от другого Red Hat-подобного дистрибутива

По завершении установки нужно будет настроить ваш свежий OpenFiler, открыв в веб-браузере страницу https://имя_или_адрес_машины:446.

Рисунок 1. Вход в OpenFiler

Основные функции файловых систем

Файловая система отвечает за оптимальное логическое распределение информационных данных на конкретном физическом носителе. Драйвер ФС организует взаимодействие между хранилищем, операционной системой и прикладным программным обеспечением. Правильный выбор файловой системы для конкретных пользовательских задач влияет на скорость обработки данных, принципы распределения и другие функциональные возможности, необходимые для стабильной работы любых компьютерных систем. Иными словами, это совокупность условий и правил, определяющих способ организации файлов на носителях информации.

Основными функциями файловой системы являются:

• размещение и упорядочивание на носителе данных в виде файлов;
• определение максимально поддерживаемого объема данных на носителе информации;
• создание, чтение и удаление файлов;
• назначение и изменение атрибутов файлов (размер, время создания и изменения, владелец и создатель файла, доступен только для чтения, скрытый файл, временный файл, архивный, исполняемый, максимальная длина имени файла и т.п.);
• определение структуры файла;
• поиск файлов;
• организация каталогов для логической организации файлов;
• защита файлов при системном сбое;
• защита файлов от несанкционированного доступа и изменения их содержимого. 

А что внутри?

Если заглянуть под покрывало графического интерфейса OpenFiler, вы обнаружите множество известных программ с открытым исходным кодом. В качестве основы используется дистрибутив rPath с ядром ветки 2.6, а rPath очень похож на Red Hat Linux. По умолчанию в OpenFiler запущен SSH-сервер, поэтому можно просто зайти на свой новый сервер с помощью SSH-клиента и посмотреть, что там. Веб-админка работает на Python и веб-сервере lighttpd. Также на OpenFiler работает демон snmpd, поэтому можно делать к нему запросу по SNMP. Движок HTTP/WebDAV реализуется за счет Apache. Для реализации других протоколов обмена используются стандартный Linux NFS-сервер, Samba-сервер для SMB/CIFS, и proftpd для FTP.

OpenFiler поддерживает множество физических блочных устройств, таких как диски SATA, SAS, SCSI, IDE и FC. Также поддерживаются сетевые блочные устройства, доступные по протоколам iSCSI, AoE (ATA over Ethernet) и FCoE (Fiber Channel over Ethernet). Также поддерживается стандартный для Linux программный RAID.

Интереснейшие функции OpenFiler — это наличие движка DRBD (Distributed Replicated Block Device, Распределенное реплицированное блочное устройство) и программное обеспечение для отказоустойчивых кластеров — Heartbeat. DRBD позволяет реплицировать свои блочные устройства на другие сервера OpenFiler в синхронном, либо асинхронном режимах. Таким образом, резервную копию OpenFiler можно расположить в соседней стойке. При использовании вместе со средством Heartbeat можно сделать так, чтобы два сервера OpenFiler в одной и той же сети использовали один виртуальный IP-адрес, и вы получите мощный, надежный, отказоустойчивый кластер для хранения данных. В случае отказа основного OpenFiler, замещающий обнаружит это по разрыву выделенного соединения, включится и задействует свой виртуальный IP-адрес и продолжит отвечать на запросы.

OpenFiler использует Linux LVM, поэтому можно с легкостью объединять устройства хранения в единый пул, а затем разбивать его на необходимые вам части. Другим преимуществом использования Linux LVM является мгновенные снимки состояния (т.н. snapshots), которые можно создавать легко и быстро, а значит резервные копии можно делать часто.

Выбор системы для файлового сервера

Обычно, выбор падает на такие системы как Windows или UNIX (например, Linux Ubuntu, Linux CentOS, FreeBSD).

В целом, любая из них хорошо справится с ролью файлового сервера, и чаще всего, системные администраторы выбирают ту, в которой лучше всего ориентируются. Но есть несколько причин выбрать ту или иную ОС.

+/-	Windows	UNIX
Плюсы	1. Хорошо подходит для сред, IT-инфраструктура которых построена на базе Active Directory. AD DS дает большие возможности по управлению правами пользователей и аудиту. 2. Отсутствует постоянный системный администратор и есть необходимость в самостоятельном управлении сервером. Windows проще в настройке и управлении.	1. Бесплатность. Для файловой помойки нет смысла покупать дорогостоящую лицензию. Проще использовать бесплатную сборку Linux или BSD. 2. У UNIX систем лучше работает функция дедупликации. Это удобно, если на файловом сервере будут храниться одинаковые данные, например резервные копии. 3. Высокая стабильность. Данные системы сложно взломать или подвергнуть вирусной атаке. Они лучше защищены и реже выходят из строя, особенно, если их устанавливать без графической оболочки.
Минусы	1. Высокая стоимость. Серверная операционная система стоит дорого. 2. Подверженность вирусным атакам. Windows слаба защищена от вирусных атак. Антивирусные программы (которые также стоят денег для серверной ОС) помогают, но не являются панацеей.	1. Сложное управление. Командная строка — не самый удобный способ для работы с операционной системой. Некоторые специалисты не согласятся с данным утверждением, однако, большинство предпочитают графический интерфейс. Последний можно установить для UNIX-систем, но это снизит безопасность и надежность.

Управление томами

Сработаются ли они с вашими дисками?

Файлы, хранящиеся в центральном хранилище и легко доступные с нескольких компьютеров — главная функция NAS. Поскольку большинство дистрибутивов в нашем списке занимают целый установочный диск, лучше всего, если вы начнете как минимум с двухдискового NAS. Хотя можно разбить ваш диск на разные разделы, установить NAS на один из них и использовать оставшиеся разделы для хранения, это не рекомендуется. Более того, такие дистрибутивы, как FreeNAS и Rockstor, работают только с целыми дисками, а не с разделами.

При выборе места установки вашего дистрибутива NAS помните, что дистрибутивы NAS предлагают web-интерфейс администратора, доступ к которому можно получить с любого компьютера в сети, и таким образом, не предлагают собственной графической среды. А значит, эти дистрибутивы не требуют слишком много места на диске для себя, поэтому вряд ли будет разумно отводить под установку диск с большой емкостью. Почти все дистрибутивы в нашем обзоре могут практически так же легко быть установлены на USB-диск, что оставляет вам возможность использовать диски только для установки. Если у вас есть SSD-диск, на него вы также можете установить эти дистрибутивы, и они будут прекрасно работать. Вы также можете установить эти дистрибутивы в VirtualBox и при необходимости добавить виртуальные диски для хранения.

FreeNAS, как многие другие решения NAS, создан на файловой системе ZFS. Она обеспечивает многие из расширенных функций, типичных для NAS, например: целостность данных, создание мгновенных снимков, дедупликация (возможность удалять дублирующиеся копии данных) и т. д.

NAS4Free и Rockstor поддерживают все те же разделы, что и FreeNAS. Благодаря ее функциям копирования при записи и мгновенных снимков, Btrfs считается сильным конкурентом файловой системы ZFS, и в EasyNAS и Rockstor является системой по умолчанию.

В дополнение к поддержке файловых систем ЕХТЗ/4, XFS и JFS в OpenMediaVault вы также получите опцию создания квот для каждого настроенного тома и списка контроля доступа (ACL).

Выбранная вами файловая система также зависит от функций NAS, которые вы хотите задействовать. Например, многие функции ZFS, такие как дедупликация. очень сильно нагружают ОЗУ.

Документация и поддержка

Когда вы не знаете, в каком направлении движетесь.

В отличие от настольных дистрибутивов, где можно найти свой путь в системе методом проб и ошибок, NAS не столь благосклонно относится к подобным приемам. Если вы не уверены в том, что делаете, вы легко можете повредить свое NAS, превратив его в бездыханный кирпич.

FreeNAS, один из самых любимых проектов NAS, является сущим информационным монстром. Смело можно сказать, что по части документации FreeNAS для дистрибутивов NAS — то же, что Arch и Gentoo для Linux. Помимо форумов сообщества и канала IRC, на которых можно искать решения определенных проблем, обширная документация размещается на сайте проекта.

Помимо открытых форумов, проект EasyNAS предлагает первичную информацию и краткое введение в важные концепции и технологии, такие как RAID и файловые системы. Однако многие страницы wiki пока что пусты и не содержат контента — например, та, где обсуждается установка EasyNAS на USB.

На сайте NAS4Free вы найдете несколько страниц по таким важным темам, как установка и начальная настройка, и даже по таким экзотическим темам, как Access Control . Хоть эта информация самая базовая, всё же она полезна.

Как и FreeNAS, OpenMediaVault и Rockstor тоже очень хорошо документированы. Документация OpenMediaVault — только по существу, a Rockstor раскрывает темы подробно и предлагает также множество HowTo по самым разным темам.

В отличие от остальных, FreeNAS предлагает специальную книгу, опубликованную PacktPub. FreeNAS и Rockstor предлагают еще и решения с коммерческой поддержкой, и для каждого из этих дистрибутивов вы также найдете несколько видеоруководств на YouTube.

О проекте OpenFiler

Дистрибутив OpenFiler легок в установке, прост в использовании, практически мгновенное решение. На момент написания статьи последняя версия имела номер 2.3, и была основана на дистрибутиве rPath, так что он компактный и легкий, каким и должен быть. Таким образом, у разработчиков есть простор в наполнении дистрибутива теми функциями, которые были бы нужны для его основной цели. Дистрибутив настолько легок, что его можно даже использовать на встраиваемых системах. Список функций довольно велик, и его можно сравнить даже с коммерческими устройствами, вроде тех, которые предлагают фирмы Snap и другие. Вот основные функции OpenFiler:

• Полная поддержка iSCSI сервера (target) и клиента (initiator).
• Поддержка устройств Fiber Channel (в зависимости от аппаратуры).
• Поддержка программного (md) и аппаратного RAID.
• Расширение разделов/файловых систем «на лету».
• Мгновенные снимки состояния (snapshots).
• Синхронная/асинхронная репликация данных.
• Доступ к данным по протоколам NFS, SMB/CIFS, HTTP/WebDAV и FTP.
• Поддержка теневого копирования по SMB/CIFS при мгновенных снимках.
• Поддерживается аутентификация в NIS, LDAP и Windows NT/Active Directory.
• Гибкое управление квотами.
• Простая веб-админка.

Единственным недостатком OpenFiler является то, что за Руководство администратора придется заплатить. Руководство по установке и устаревшую версию руководства администратора можно скачать с сайта бесплатно, однако новейшая версия руководства доступна лишь «денежным» клиентам, ведь только из этого источника проект OpenFiler и финансируется. К счастью, обладая удобным и понятным графическим интерфейсом, OpenFiler легко настраивается и без этого.

↓ 01 — FreeNAS [Лучшее]

Что такое FreeNAS? FreeNAS — это операционная система, которую можно установить практически на любую аппаратную платформу для обмена данными по сети. FreeNAS — это самый простой способ создать централизованное и легкодоступное место для ваших данных. Используйте FreeNAS с ZFS для защиты, хранения, резервного копирования всех ваших данных. FreeNAS используется везде: дома, в малом бизнесе и на предприятии.

Что такое ZFS? ZFS — это корпоративная файловая система с открытым исходным кодом, RAID-контроллер и диспетчер томов с беспрецедентной гибкостью и бескомпромиссным стремлением к целостности данных. Он устраняет большинство, если не все недостатки устаревших файловых систем и аппаратных RAID-устройств. Как только вы перейдете на ZFS, вы больше никогда не захотите возвращаться.

• Шифрование — FreeNAS — первый и единственный проект с открытым исходным кодом, предлагающий шифрование томов ZFS! Во время создания тома доступна опция шифрования всего тома, обеспечивающая стандартное шифрование AES-XTS, которое может быть аппаратно ускорено (если процессор поддерживает AES-NI).
• Репликация — моментальные снимки ZFS — это больше, чем просто локальные резервные копии — их также можно использовать для создания удаленных резервных копий. Репликация моментальных снимков файловой системы в удаленную файловую систему ZFS создает там полную копию.
• Снимки — благодаря ZFS снимки всей файловой системы можно делать и сохранять в любое время. Пока существует моментальный снимок, администраторы могут получать доступ к файлам в том виде, в котором они были на момент создания моментального снимка.
• Защита данных — ZFS предназначена для обеспечения целостности данных сверху вниз. RAID-Z, программный RAID, который является частью ZFS, предлагает защиту с единым контролем четности, как RAID 5, но без уязвимости «дыры для записи» благодаря архитектуре ZFS с копированием при записи.
• Обмен файлами. Обмен файлами — это то, что FreeNAS делает лучше всего. Все основные операционные системы поддерживаются SMB / CIFS (общие файловые ресурсы Windows), NFS (общие файловые ресурсы Unix) и AFP (общие файловые ресурсы Apple), а также FTP, iSCSI (совместное использование блоков), WebDAV и другие методы обмена данными по сети. доступны.

Что следует учитывать при выборе NAS?

Выше мы рассмотрели несколько популярных функций, которые должно поддерживать современное сетевое хранилище. Мы рекомендуем отметить те функции, которые могут понадобиться. И уже при выборе хранилища проверять, какие из функций оно поддерживает. Учтите, что список функций практически безграничный, как и число пакетов, которые можно установить на NAS. Поэтому здесь мы не претендуем на полный охват.

После того, как определились с функциями, настало время перейти к характеристикам сетевых хранилищ. Их следует учитывать при выборе подходящей модели. И ниже мы рассмотрим наиболее важные характеристики.

Установка операционной системы

Сначала определимся с архитектурой сервера. Если Вам известна марка процессора, установленного в сервер, ознакомившись с его спецификацией Вы узнаете, совместим ли он с архитектурой x86-64 (64 бит) или только i386 (32 бит). Косвенный признак — размер оперативной памяти, 32-битная архитектура не может работать с оперативной памятью объемом более 3 Гбайт, иногда в эту архитектуру устанавливали 4 Гбайт памяти, но в системе было видно только 3 Гбайт.

Идем на страницу загрузки Ubuntu Server и скачиваем дистрибутив, соответствующей архитектуры. Дистрибутивы Ubuntu распространяются в виде образов загрузочных DVD дисков.

Для установки Вам потребуется записать загрузочный DVD диск из скачанного образа, или, что как правило удобнее, подготовить загрузочную флешку специальной утилитой. Вставляйте диск или флешку в сервер и загружайтесь с нее.

Выбирайте русский язык и в меню .

Далее Вам предложат указать страну, выбрать раскладку клавиатуры, дать имя серверу, указать имя и пароль суперпользователя (аналог администратора в Ubuntu) и подтвердить временную зону.

Некоторое затруднение может вызвать разметка диска. Если сомневаетесь, выбирайте автоматическую разметку и использовать весь диск. Но лучше выделить домашние папки пользователей в отдельные логические диски.

Так будет удобнее обновлять операционную систему, когда выйдет новая LTS версия 18.04.

Создавать или нет раздел подкачки зависит от объема оперативной памяти. Если у Вас ее немного, создайте раздел подкачки с таким же объемом. Впрочем, это не обязательно, можно после установки создать файл подкачки.

Далее в процессе установки Вам нужно будет выбрать каким образом Вы хотите управлять обновлением системы. Рекомендую устанавливать обновления безопасности автоматически.

И ближе к концу установки Вам предложат выбрать готовые наборы серверного программного обеспечения. Нам понадобятся:

• Samba file server
• Standart system utilites
• OpenSSH server

Инсталлятор завершит свою работу, перезапустит сервер, Вы увидите протокол загрузки операционной системы, который завершится приглашением ввести логин и пароль пользователя в консоль.

Добро пожаловать в Linux!