Чтобы сделать систему хранения данных функциональной и удобной для пользователя, используются различные аппаратные средства, программное обеспечение и протоколы связи.
Схд что это такое
Что такое системы хранения и зачем они нужны? В чем разница между iSCSI и FibreChannel? Почему термин «хранение данных» стал привычным для ИТ-специалистов только в последние годы и почему тема хранения данных продолжает занимать многие задумчивые умы?
Думаю, многие заметили тенденцию в окружающем нас мире ИТ — переход от расширенной модели предоставления услуг к интенсивной модели. Рост числа мегагерцовых процессоров не оказывает заметного влияния (см. пост «Вечный вопрос: Intel или AMD?»), а рост числа устройств хранения не поспевает за объемом данных.
В случае с процессорами все более или менее понятно — достаточно строить многопроцессорные системы и/или использовать несколько ядер в одном процессоре, но в случае с хранением и обработкой данных избавиться от проблем не так просто.
В настоящее время панацеей от информационной эпидемии является хранение данных. Название расшифровывается как Data Storage Area Network (SAN) или система хранения данных. В каждом случае это специализированное оборудование и программное обеспечение, предназначенное для управления большими объемами ценной информации.
Следует отметить, что нас в основном интересует информация, которая используется в бизнесе и от которой зависит существование компании и ее бесперебойная работа. Для «домашнего пользователя» проблемы хранения и обработки данных менее важны.
Основные проблемы, решаемые СХД
Что же представляет собой решение для хранения? Давайте рассмотрим типичные проблемы, связанные с растущим объемом информации в любой организации. Предположим, что имеется как минимум несколько десятков компьютеров и несколько географически удаленных офисов.
1. децентрализация информации — если в прошлом все данные могли буквально храниться на одном жестком диске, то сегодня каждая операционная система требует отдельного места для хранения — например, сервер электронной почты, СУБД, домен и т.д. Еще сложнее ситуация с распределенными офисами (филиалами).
2. лавинообразный рост объема данных — часто количество жестких дисков, которые можно установить на данном сервере, не достигает требуемой системой емкости.
Невозможность полной защиты хранимых данных — довольно сложно защитить данные, которые не только находятся на разных серверах, но и географически разбросаны.
Недостаточная скорость обработки информации — каналы связи между удаленными объектами все еще оставляют желать лучшего, но даже при наличии достаточно «толстого» канала не всегда удается полностью использовать для работы существующие сети, например IP.
Сложность резервного копирования (архивирования) — когда данные читаются и записываются небольшими блоками, может оказаться нереальным полностью архивировать информацию с удаленного сервера по существующим каналам — необходимо передать весь объем данных. Архивирование на месте часто нецелесообразно по финансовым причинам: системы резервного копирования (например, ленточные накопители), специализированное программное обеспечение (которое может стоить больших денег) и обученный и квалифицированный персонал.
3. При установке компьютерной системы трудно или невозможно предсказать объем необходимого пространства для хранения данных.
Проблемы возникают при увеличении емкости жестких дисков — довольно сложно добиться терабайтной емкости сервера, особенно если система уже работает на существующих жестких дисках малой емкости — как минимум, это требует остановки системы и неэффективных финансовых вложений.
Неэффективное использование ресурсов — иногда трудно угадать, какой сервер предоставляет данные быстрее. Один почтовый сервер может иметь критический объем доступного хранилища, в то время как другой сегмент использует только 20% емкости дешевой дисковой подсистемы (например, SCSI).
4. низкая конфиденциальность распределенных данных — доступ нельзя контролировать или ограничивать в соответствии с политикой операционной безопасности. Это относится как к доступу к данным по имеющимся для этого каналам (локальные сети), так и к физическому доступу к носителям информации — например, невозможно предотвратить кражу или уничтожение жестких дисков (чтобы помешать деятельности организации). Неуклюжие действия пользователей и обслуживающего персонала могут нанести еще больший ущерб. Если компания вынуждена решать небольшие локальные проблемы безопасности в каждом филиале, это не даст желаемого эффекта.
5. сложность управления распределенными информационными потоками — любое действие, направленное на изменение данных в каждом филиале, который содержит часть распределенных данных, приводит к определенным проблемам, начиная от сложности синхронизации различных баз данных и версий файлов разработчиков и заканчивая ненужным дублированием информации.
Мегабайты или транзакции?
Если раньше жесткие диски размещались в компьютере (сервере), то сегодня они тесные и не очень надежные. Самое простое решение (разработанное давно и используемое повсеместно) — это технология RAID.
Установка RAID-массива на любую систему хранения данных дает множество преимуществ, включая быстрый доступ к информации, а также защиту данных.
С точки зрения пользователя или программного обеспечения, скорость определяется не только пропускной способностью системы (Мбайт/с), но и количеством транзакций, то есть количеством операций ввода-вывода в единицу времени (IOPS). Логически, IOPS также улучшается за счет большего количества жестких дисков и методов повышения производительности, предоставляемых RAID-контроллером (например, кэширование данных).
Если мониторинг потокового видео или организация файлового сервера более важны для общей производительности, то для базы данных или приложения для онлайн обработки транзакций (OLTP) решающее значение имеет количество транзакций, которые может обработать система. И по этому параметру современные жесткие диски уже не такие яркие, как были при увеличении объемов и, в некоторой степени, скоростей. Все эти проблемы должна решать сама система хранения — ниже мы увидим, как и с помощью каких методов.
Необходимо управлять свободным пространством для хранения данных, а также используемым пространством для хранения данных. Для всех вышеперечисленных методов необходимо знать, какие части диска доступны, а какие заняты, чтобы можно было эффективно распределить файлы. Поэтому необходимо иметь как таблицу распределения дисков, так и таблицу распределения файлов.
Уровни СХД
В зависимости от определенных критериев существуют различные типы систем хранения. И первое, что необходимо учитывать, — это уровни хранения. Есть три варианта:
Блочное хранение: В этом случае система используется как обычный жесткий диск. Здесь можно загружать любые операционные системы, форматировать и формировать логические диски. В этих системах файлы хранятся не как один файл, а как отдельные блоки. Это решение значительно ускоряет загрузку и скачивание. На практике наиболее распространены сети с подключением к хранилищу. Они подходят для хранения больших баз данных, для высокопроизводительных вычислений, систем управления базами данных и в качестве среды разработки. Однако настройка и обслуживание этих систем намного сложнее и дороже, чем их ближайших родственников.
Файловое хранение: в такой системе данные хранятся в виде файлов. Они распространяются в соответствующих каталогах. Такое решение идеально подходит для хранения информации, которая не требует оперативной обработки, вычислений. Для создания таких систем хранения в основном используются сетевые хранилища. Основной проблемой этого уровня является усложнение структуры папок по мере увеличения объема информации. Это также негативно сказывается на скорости. Поэтому его не рекомендуется использовать в приложениях, требующих высокой скорости отклика.
Объектное хранилище предназначено для работы с большими объемами неструктурированной информации. В этом случае организация системы хранения данных предполагает использование сгруппированных объектов, отсортированных по метаданным и уникальным идентификаторам. По своей структуре они похожи на классические базы данных. На практике они используются в области Больших Данных, аналитики и машинного обучения. Они могут хранить большие мультимедийные файлы, создавать резервные копии и размещать интернет-ресурсы. Они широко используются в облачных технологиях на этапе разработки программного продукта и в последующей эксплуатации. Системы на основе объектов несколько уступают своим блочным аналогам по скорости передачи данных.
Как работает система хранения данных
Чтобы сделать систему хранения данных функциональной и удобной для пользователя, используются различные аппаратные средства, программное обеспечение и протоколы связи.
Итак, в зависимости от уровня считывания, хранения и записи информации существует 2 группы систем хранения данных:
Работа с файловыми данными: Такая система хранения данных работает как полностью независимый сервер. Он имеет свою собственную файловую систему. Это работает простым способом. Пользователь делает запрос на запись в файл или получение определенного объема информации. Сервер обрабатывает все это. Система, работающая по этому принципу, называется Network Attached Storage (NAS).
Они работают с блочными данными. Это решение обеспечивает высокоскоростную связь между хранилищем и сервером. К услугам гостей всего 2 квартала: Блокировать вызов или блокировать запись. В этом случае используются инфраструктуры Storage Area Network (SAN) или Direct Attached Storage (DAS).
Давайте рассмотрим все эти возможности подробнее.
NAS — это просто устройство для обмена файлами по IP-сети. Он использует собственный высокопроизводительный сервер с собственной операционной системой. Операционная система предназначена для операций чтения и записи. Для связи между сетью и оборудованием доступны различные сетевые интерфейсы, такие как Gigabit Ethernet, FDDI, FastEthernet и т.д. NAS имеет очень большой объем памяти, значительная часть которого используется в качестве кэша. Это решение позволяет осуществлять асинхронную запись. Скорость чтения увеличивается при кэшировании. Это означает, что данные долгое время остаются в самой памяти и не попадают на жесткий диск.
Такая система обработки и хранения данных имеет множество преимуществ:
Предоставление доступа к сети всем пользователям по минимальной цене,
Возможность изменять «формат» хранилища, адаптируя его к специфике конкретного бизнес-процесса, подключая виртуальные машины, диски и т.д,
Простота подключения, управления: работает с протоколами Network File System и Common Internet File System, клиент просто выполняет операции чтения и записи в обычном файловом режиме,
Отзывчивость: операции ввода-вывода занимают меньше времени, чем на серверах общего назначения,
Расширение емкости происходит прозрачно для клиентов, но они не участвуют в реальном процессе добавления или удаления хранилища.
Однако, помимо этих преимуществ, существуют и некоторые ограничения. И самый важный из них напрямую связан с базовым сетевым хранилищем — оно подходит только для хранения файлов. Кроме того, увеличение нагрузки на сеть при фиксированной пропускной способности приведет к увеличению времени отклика. Кроме того, некоторые приложения сетевых дисков могут здесь не работать.
DAS — это отдельная внутренняя и внешняя инфраструктура. Они различаются расстоянием, допустимым между серверами и устройством хранения данных. Во всех случаях соединение является прямым благодаря технологиям SCSI и FC.
Простая архитектура дает Direct Attached Storage ряд преимуществ:
Самая низкая стоимость среди всех возможных вариантов,
Моменты, на которые надо обратить внимание при выборе СХД
Современные технологии хранения данных открывают перед компаниями множество возможностей. Нужно просто ориентироваться в его многообразии и выбирать тот вариант, который наиболее эффективен в конкретной ситуации. При выборе системы хранения, например, необходимо обратить внимание на следующее:
Тип данных для хранения. Каждый тип требует различных технологий обработки, скорости доступа, сжатия и т.д.
Информационная емкость. Этот параметр имеет решающее значение для емкости хранилища.
Отказоустойчивость: Вам необходимо с самого начала оценить, во сколько обойдется вашей компании потеря данных. Таким образом, вы можете оптимизировать затраты на резервное копирование.
Производительность Здесь трудно сделать правильный выбор для нового проекта без тестирования.
Поставщик услуг. Выбирайте вариант, который отвечает вашим потребностям с точки зрения надежности, функциональности и цены.
Компания Xelent готова предоставить своим клиентам надежные и эффективные системы хранения данных в рамках выделенного бюджета, информационную и техническую поддержку, а также профессиональный сервис. Специалисты подробно изучат особенности систем хранения данных и помогут выбрать решение, соответствующее вашим потребностям. Вы можете получить консультацию через форму обратной связи или по телефону.
Автоматизация обязательной подачи документов — это первый шаг к упрощению управления корпоративными ИТ. Наем облачного архива для 1С от Xelent поможет вам справиться с этой задачей. Все данные размещаются на отказоустойчивых устройствах в центрах обработки данных в Москве и Санкт-Петербурге.
Высокая производительность и гибкое управление! Необходимый пул арендованных ресурсов для создания нужной конфигурации виртуальной машины для вашего проекта.
Мы рекомендуем размещать серверы в том регионе, где работает ваша компания. Это важно для обеспечения максимального качества связи. Наши клиенты могут воспользоваться преимуществами размещения серверов в центрах обработки данных в Санкт-Петербурге и Москве.
Недостаточная скорость обработки информации — каналы связи между удаленными объектами все еще оставляют желать лучшего, но даже при наличии достаточно «толстого» канала не всегда удается полностью использовать для работы существующие сети, например IP.
Накопители в СХД
Устройства хранения данных могут работать с различными типами носителей информации: Магнитные ленты, оптические жесткие диски, жесткие диски (HDD) и твердотельные диски (SSD/NVMe). Ниже рассматриваются только два последних типа, поскольку они являются обычными универсальными носителями информации в большинстве систем.
Помните, что устройства хранения данных устанавливают предел аппаратной производительности: Система не может быть быстрее, чем сумма производительности ее дисков. С другой стороны, медленнее — можно.
Жесткие диски имеют множество важных особенностей и характеристик, которые необходимо учитывать при построении системы хранения данных, но самыми основными из них, вероятно, являются тип интерфейса и форм-фактор.
Интерфейсы современных HDD и SSD
Интерфейс обеспечивает протокол связи между устройством хранения данных и вычислительными ресурсами системы. Интерфейс является важным фактором при определении производительности устройства хранения данных, поскольку он влияет на пропускную способность, задержку, масштабируемость, возможность горячей замены и, конечно, стоимость.
Интерфейсы SATA и SAS сначала использовались в жестких дисках, но в процессе эволюции стали стандартом для твердотельных накопителей. Однако SATA и SAS не могут использовать весь потенциал производительности твердотельных накопителей. Поэтому интерфейс PCIe и протокол NVMe все чаще используются для подключения твердотельных накопителей. Обратите внимание, что существуют также модули NL-SAS, которые по сути являются гибридом интерфейса SAS и модуля SATA.
Таблица 1: Комплексное сравнение технических характеристик жестких и твердотельных дисков.
| Класс | HDD | SSD | ||||
| Интерфейс | SATA | SAS | SATA | SAS | PCIe | |
| Привод | SATA | NL-SAS | SAS | SATA | SAS | NVMe |
| Надежность | Низкий | Средний | Высокий | Средний | Высокий | Высокий |
| Производительность | Низкий | Низкий | Средний | Высокий | Высокий | Очень высокий |
| Затраты | Низкий | Низкий | Средний | Средний | Высокий | Очень высокий |
Форм-фактор
Все жесткие диски имеют схожую конструкцию с движущимися частями, поэтому их внешний корпус представляет собой прямоугольный корпус SFF (Small Form Factor, 2,5″) или LFF (Large Form Factor, 3,5″). Каждый из этих типов корпусов может иметь различные интерфейсные разъемы.
Дисковый контроллер и бэкплейн
Дисковый контроллер (HBA)
В системах хранения данных контроллер жесткого диска — это устройство, через которое подключенные жесткие диски передаются к вычислительным ресурсам системы. Контроллер жесткого диска обычно представлен отдельной картой расширения, но может быть и в виде микросхемы, интегрированной непосредственно в материнскую плату. Проще говоря, контроллер жесткого диска позволяет всем последующим уровням хранения данных видеть и обрабатывать жесткие диски.
Адаптер шины хоста (HBA) — это тип контроллера жесткого диска, который позволяет системе видеть подключенные жесткие диски по отдельности.
Рисунок 5. Контроллер жесткого диска Broadcom (9400-8i Tri-Mode Storage Adapter).
Triple-mode
Существуют контроллеры жестких дисков, способные работать с тремя протоколами (SATA, SAS, NVMe) одновременно. Такой подход практичен и обеспечивает гибкость при проектировании систем хранения данных, поскольку позволяет подключать как обычные диски SATA, так и сверхбыстрые диски NVMe.
Бэкплейн и экспандер
В большинстве случаев устройства хранения подключаются непосредственно к объединительной плате — специальной плате на стойке или сервере с разъемами для жестких дисков SAS, SATA и NVMe, которая соединена с контроллером жесткого диска. Сам дисковый контроллер обычно поддерживает прямое размещение ограниченного числа дисков. Для увеличения количества подключаемых дисков используется расширитель. В большинстве случаев расширитель представляет собой микросхему, установленную на объединительной плате.
Рисунок 6: объединительная плата Supermicro BPN-SAS-826TQ.
Рисунок 7: Расширитель Broadcom SAS в виде микросхемы.
Контроллер СХД
Контроллер хранения (также известный как узел управления) является наиболее важным компонентом управления системы хранения. Это уровень обработки данных, отвечающий за создание дисковых массивов, вычисление контрольных сумм, управление доступом и другие сервисные функции.
Контроллер хранения — это функциональный блок, который физически может быть представлен совершенно другим набором оборудования.
RAID-контроллер
В теории понятия RAID-контроллера и контроллера хранения данных часто представляются как идентичные. Это связано с тем, что оба выполняют основную функцию создания и управления дисковым массивом. На практике RAID-контроллер часто рассматривается как адаптер, который подключается к серверу и создает массив подключенных дисков. Затем RAID-контроллер создает подсистему хранения для конкретного локального клиента (инициатора), но это не устройство хранения в традиционном смысле.
Рисунок 8: RAID-контроллер Microchip.
Контроллер СХД как специализированный компьютер
Когда мы говорим о хранилище как об отдельной инфраструктурной единице с подключенными к сети клиентами, контроллер хранилища — это выделенный компьютер с управляющим программным обеспечением. В нем есть материнская плата, процессор и модули оперативной памяти. Разумеется, контроллер может быть размещен как в изготовленном на заказ корпусе, так и в стандартном стоечном шкафу.
В некоторых решениях программное обеспечение управления может взять на себя функцию RAID для дисков, устраняя необходимость в аппаратном RAID-контроллере. Это часто используется в программно-определяемых системах хранения, где системный контроллер может быть основан на стандартной серверной платформе.
Рисунок 9: Supermicro 2029P-E1CR24H — пример типичной серверной платформы для программно-определяемого хранилища.
Двухконтроллерный режим
Системы хранения данных могут быть одно-, двух- или многоконтроллерными. Последние два используются для улучшения производительности и повышения отказоустойчивости: В случае аппаратного сбоя в активном контроллере второй узел берет на себя управление без остановки всей системы.
Рисунок 10. Схема системы хранения данных на базе двух контроллеров RAIDIX.
В конфигурации с двумя или более контроллерами узлы соединены шинами связи. Эти каналы могут варьироваться в зависимости от архитектуры и функциональности системы. Например, в классической системе, основанной на двух контроллерах RAIDIX, это:
- Межузловой интерфейс (Heartbeat) — Ethernet-соединение между узлами для тестирования функциональности контроллеров.
- Синхронизация кэша — соединение для синхронизации кэша на основе протоколов IB-SRP, iSCSI или SAS.
Следует отметить, что использование двух контроллеров не требует применения двух отдельных корпусов. Нередко две материнские платы контроллеров устанавливаются в отдельные гнезда на одной платформе (Рисунок 11).
Учитывая это, давайте вкратце рассмотрим, что это такое и почему память DELL необходима. Например, есть компания Dell EMC, занимающаяся системами хранения данных. В настоящее время эта компания считается одной из лучших в своей области. Но об этом подробнее ниже.
Чем по сути является физический сервер (ФС)?
Это системный блок, состоящий из нескольких процессоров, памяти, жестких дисков, твердотельных накопителей, блоков питания, кулеров, различных разъемов и сетевых устройств.
Ключевым отличием FS от обычного компьютера является резервирование основных систем. Это обеспечивает надежность и функциональность всех устройств на сервере. Функциональность сервера напрямую влияет на скоростные параметры обрабатываемых данных. Надежность обеспечивает бесперебойную работу ресурса.
Серверы классифицируются в зависимости от характера их деятельности. Например: для почты, терминала, 1-С, web, ets. Основные задачи сервера:
- Web — разработан как хостинг для веб-сайтов. Другими словами, на этом сервере постоянно размещаются веб-сайты (сайт вашего покорного слуги также находится на подобном сервере),
- 1-С — предназначен для предприятий. Он подключается к офисному оборудованию, составляющему сеть, и позволяет пользователям получить доступ ко всей этой информационной сети,
- Хранилище информации — обеспечивает хранение всех видов информации и предоставляет доступ к ней с определенной функциональностью.
Выяснив, что такое сервер, и разобравшись с его основной опцией — хранением данных, перейдем к хранилищам DELL.
Что означает система хранения данных?
Пользователи обнаружили, что использование различных типов хранилищ не удовлетворяет информационные потребности пользователей. Из этой ситуации есть только один выход — хранение. Она расшифровывается как «сеть хранения данных». Она относится к специализированному оборудованию, необходимому для управления большими объемами данных.
Если вы ищете идеальное решение для хранения данных для своего бизнеса, вам стоит обратить внимание на упомянутую выше компанию Dell EMC. Программное обеспечение повышает эффективность вашей деятельности благодаря комплексному лицензированию. Это плановая мера, которая может сэкономить ваши деньги в долгосрочной перспективе.
- Dell EMC обладает достаточной емкостью хранилища,
- Впечатляющая скорость восстановления данных,
- Задержка на этом сервере минимальна,
- Главным преимуществом для пользователя этой компании является доступная цена!
Компания предлагает и другие льготы, о которых вы можете узнать на их сайте. Выбор за вами. Удачи!
Хранение файлов больше похоже на то, как мы воспринимаем информацию на нашем компьютере: а именно, как файлы в подпапках. Путь к файлу в хранилище файлов может быть довольно длинным из-за глубокой иерархии вложенных папок.
Контроллеры и бэкплейны
Переход к более сложным вопросам аппаратного и программного обеспечения. Если говорить точнее, то умы, отвечающие за отображение дисков, путей ввода-вывода, контроля чтения и записи, уровней доступа и безопасности. Давайте разберемся подробнее.
Дисковые HBA-контроллеры
Эти устройства представляют собой высокотехнологичные «банки» с множеством соединений. Реже встречается отдельный сопроцессор, предназначенный для обработки больших объемов данных. Они используются в качестве дополнительного компонента к материнской плате и служат в качестве раннего решения, пока не потребуется вариант «жесткой войны».
Адаптер шины хоста (HBA) — это тип устройства. При использовании HBA сервер видит все жесткие диски в системе и может получить доступ к каждому из них.
Примером может служить HP H220 с поддержкой SAS, работающий на шине PCI-E 3.0 x8.
Благодаря этим картам администраторы могут подключать больше дисков SAS, выполнять аппаратный RAID и создавать резервные копии системы в случае форс-мажорных обстоятельств.
Triple-Mode (Tri-mode)
Эти контроллеры были очень популярны во время быстрого внедрения NVMe. Они позволили одновременно подключать к карте диски NVMe, SATA и SAS для создания более гибкой системы.
Экспандеры и бэкплейны
Вы когда-нибудь задумывались, как 20-30 жестких дисков/SSD могут работать в одном корпусе? Это связано с рабочими задними панелями. Это специальная карта разделов с разъемами SATA/SAS/M.2/PCI-E, к которой напрямую подключается аппаратный контроллер.
Они регулярно используются, когда у контроллера заканчиваются слоты. В крупных центрах обработки данных это часто бывает именно так.
Так что же такое экспандер? Расширитель — это микросхема, которая устанавливается на объединительной плате, чтобы разгрузить главный «мозг» от переноса нулей и единиц.
Контроллеры
В то время как расширители строго ограничены в функциональности двумя или тремя инструкциями, контроллер хранения данных, безусловно, лишен этих недостатков. В противном случае его нельзя было бы назвать «узлом управления». По ряду причин он является базовой единицей для построения дискового массива:
- Создание дискового массива,
- управление движением,
- управление полосой пропускания,
- расчет контрольной суммы,
- функции внутреннего обслуживания и многое другое.
Однако следует понимать, что контроллер — это не мощная волшебная пуля, которая может передавать 20 ТБ данных между серверами по щелчку пальцев. Это группа устройств, в которой каждый компонент отвечает за определенный аспект работы. Это будет обсуждаться далее.
RAID-контроллер
Эти два понятия настолько тесно переплелись в сознании пользователей, что многие при упоминании термина «контроллер» автоматически добавляют RAID, только потом с удивлением обнаруживают, что существуют и другие контроллеры.
RAID — это, по сути, адаптер для создания защищенного массива жестких дисков (2, 4, 8 или более в зависимости от уровня). Для большей простоты RAID автоматически записывает информацию параллельно на все подключенные жесткие диски. Если один жесткий диск выходит из строя, данные на других жестких дисках не затрагиваются.
Контроллеры СХД в формате платформы
Если рассматривать систему хранения как отдельную часть инфраструктуры единого сервера, к которому обращаются внешние клиенты, то контроллер хранения можно представить как отдельный компьютер с материнской платой и процессором, набором памяти, карт расширения и сетевых интерфейсов, включая управляющее программное обеспечение для подключения оборудования.
Управляющее программное обеспечение помогает создавать RAID-массивы, так что нет необходимости приобретать для этого дополнительный аппаратный RAID-контроллер. Эта возможность активно используется для упрощения структуры и минимизации стоимости в программно-определяемых системах хранения данных, где системный контроллер входит в базовую комплектацию сервера.
Двухконтроллерные системы
Хотя правильнее было бы говорить о работе с двумя или даже более контроллерами, если система может это поддерживать. Несколько контроллеров могут быть подключены одновременно для повышения производительности и отказоустойчивости. Если первый узел выходит из строя, второй узел работает в режиме ожидания. Тем временем вы можете быстро заменить неисправный компонент. В некоторых случаях для таких многоконтроллерных систем даже не используются специальные корпуса; достаточно резервного контроллера на материнской плате.
Вычислительные ресурсы и адаптеры
Организация системы хранения — разумный подход для компаний. Не стоит забывать и об аппаратном обеспечении, которое должно обрабатывать огромные объемы данных.
Например, для системы с 60 дисками требуется два процессора 8/16 с частотой не менее 2 ГГц и около 48 ГБ оперативной памяти. Для 600 дисков вам понадобятся два-четыре 8-ядерных чипа с максимальной частотой 3,5 ГГц, 256 ГБ оперативной памяти и мощная система охлаждения.
Сетевые адаптеры являются последним и самым важным звеном в коммуникационной цепи конечного пользователя. Интерфейсы Ethernet, FC, IB или SAS передают биты в систему и из системы.
В то время как расширители строго ограничены в функциональности двумя или тремя инструкциями, контроллер хранения данных, безусловно, лишен этих недостатков. В противном случае его нельзя было бы назвать «узлом управления». По ряду причин он является базовой единицей для построения дискового массива:
Виды СХД
По аппаратной структуре системы хранения данных делятся на:
- All Flash — системы, в которых используются исключительно твердотельные накопители,
- Гибридные системы, в которых используются жесткие диски, твердотельные накопители или их комбинации.
Как all-flash, так и гибридные системы могут использоваться в качестве блочного и файлового хранилища.
Однако они имеют разные уровни эффективности и производительности и предлагают разные возможности, при этом гибридные системы предлагают больше ввода-вывода и меньшую задержку. Они обеспечивают высокую плотность хранения, но требуют много места в стойке и нуждаются в хорошем охлаждении.
Все флэш-системы используются для хранения данных в средах с высокой активностью транзакций. Все флэш-системы хранения данных потребляют меньше энергии и не так сильно нагреваются.
Протоколы СХД
Протоколы iSCSI (Internet Small Computer System Interface) и FC (Fibre Channel) используются для организации хранения данных и подключения жестких дисков и других устройств хранения к серверам или рабочим станциям.
Технология iSCSI работает следующим образом: Команды и блоки данных обычного SCSI инкапсулируются в IP-пакеты, которые передаются через Ethernet или Интернет, а затем «распаковываются», когда достигают конечного пользователя, т.е. выглядят так, как будто они идут непосредственно по кабелю SCSI от системы хранения к компьютеру. Программный модуль iSCSI доступен практически для всех операционных систем — MS Windows, Solaris, Linux, AIX. Очень важно понимать, что при подключении систем хранения через iSCSI теряется около 50% производительности системы хранения, поэтому лучше подключаться через Fibre Channel.
Технология FC используется для подключения систем хранения данных к серверам с помощью коммутаторов, через которые блоки необработанных данных передаются в определенном порядке и без потерь. Максимальная скорость передачи данных коммутатора Fibre Channel первоначально составляла 1 Гбит/с, но теперь она увеличена до 128 Гбит/с (также доступны 8, 16 и 32 Гбит/с).
Принцип работы СХД
Первый тип хранилища называется NAS (Network Attached Storage) и предназначен для управления данными в виде файлов; иначе NAS можно назвать сервером с собственной файловой системой. Другие серверы, виртуальные системы и диски, подключенные к главному серверу (производственному серверу), используются в качестве NAS-хранилища.
Системы хранения NAS относительно недороги, просты в установке и управлении, гибкие и масштабируемые, а также удобны для клиентов; однако данные хранятся только в виде файлов, доступ по сетевым протоколам медленный, а некоторые приложения не совместимы с сетевыми дисками. NAS часто используется в частных целях или небольших офисах, например, для резервного копирования данных или простого хранения данных.
Второй тип систем хранения позволяет получить доступ к данным, распределенным по блокам, что упрощает обмен информацией между сервером и хранилищем. К этому типу относятся системы DAS (Direct Attached Storage) и SAN (Storage Area Network).
Системы DAS имеют простую архитектуру, отличаются высокой надежностью и отказоустойчивостью, управляются с помощью встроенных операционных систем, просты в установке и управлении. Они обеспечивают высокую скорость передачи данных, но требуют выделенных серверов и ограничены максимум двумя серверами.
Сети хранения данных SAN — это внешние устройства хранения данных, которые работают на нескольких сетевых блочных устройствах с использованием протоколов iSCSI или FC. Здесь доступ к данным осуществляется непосредственно на жестком диске или наборе жестких дисков, объединенных в группу RAID или логическую единицу (LUN). SAN может разгрузить служебный трафик от подсети и повысить надежность хранения и обмена данными. Однако у SAN есть и недостатки: они сложны в проектировании и требуют мощного серверного оборудования.
Система хранения данных Dell EMC NX3340. Сетевая система хранения данных (NAS) с технологией кластерной готовности, которая обеспечивает эффективное развертывание и интеграцию с высокой доступностью для простого управления данными.
Достоинства и недостатки
Самым большим преимуществом хранилища на основе файлов является его интуитивно понятный дизайн: Пользовательский интерфейс очень похож на управление файлами на любом компьютере, а иерархические (вложенные) папки файлов также взяты из повседневной жизни.
Система достаточно легко расширяема (до определенного предела). Совместное использование пользователями практически не ограничено в рамках масштаба системы. Еще одним преимуществом является относительно низкая цена.
Поиск файлов в файловой системе может выполняться относительно быстро, если их размер не ограничен. Система именования файлов позволяет разным владельцам иметь файлы с одинаковым именем — с точки зрения системы, это разные файлы — даже если содержимое файлов с разными идентификаторами владельца одинаково.
Удобно группировать файлы по типу: например, все программы, написанные на Java, все игровые файлы и т.д.
Недостатки файловой системы хранения данных заключаются в том, что существуют определенные пределы масштабирования. Чем больше становится система, тем сложнее становится навигация и тем больше времени требуется для доступа к файлам. Это означает, что файлы открываются медленнее.
Бизнес-задачи
Файловое хранилище подходит для доступа к общим файлам и каталогам через локальную сеть компании (LAN) или глобальную сеть (WAN). Поэтому примеры функций хранения файлов можно найти почти во всех корпоративных ИТ-системах в той или иной форме:
- Система электронного документооборота (СЭД);, виртуальные системы, профили пользователей,
- мультимедийные хранилища,
- хранение данных для видеонаблюдения,
- картография.
Однако производительность файловых систем, особенно в больших масштабах, может оказаться недостаточной для выполнения некоторых критически важных задач, где низкое время отклика системы важно для качества бизнес-операций. К ним относятся, например, системы компьютерного зрения, аналитика Больших Данных и системы бизнес-анализа, а также нейронные сети, интеллектуальная видеоаналитика и другие инновационные цифровые технологии. В таких случаях блочное хранилище иногда оказывается более подходящим, поскольку позволяет сократить время отклика при больших объемах хранения.
Обзор продуктов NAS
Системы хранения Synology RS
Synology FlashStation FS6400 — это стоечный сервер высотой 2U, предназначенный для приложений, чувствительных к задержкам и интенсивным операциям ввода-вывода. Он подходит для постобработки медиафайлов, обеспечения виртуальных машин, обработки транзакций в режиме онлайн и приложений баз данных.
Synology FlashStation FS6400 (Источник: Synology)
- Более 240 000 операций ввода-вывода iSCSI в секунду при случайной записи 4K, чрезвычайно высокая производительность при низкой задержке.
- Два двухъядерных восьмиядерных процессора Intel® Xeon® Silver и 32 ГБ оперативной памяти ECC RDIMM DDR4 (с возможностью расширения до 512 ГБ).
- Встроенные порты 10GBASE-T и дополнительные сетевые карты 10GbE/25GbE/40GbE.
- Интегрированное решение виртуализации для VMware® vSphere, Windows Server® Hyper-V™, Citrix® XenServer и OpenStack® Cinder.
- Улучшенная файловая система Btrfs с 65 000 системных снимков и 1024 на общую папку.
- Масштабируется до 72 дисков путем подключения 2 модулей расширения Synology RX2417sas.
Подходит для:
- Средства постобработки,
- виртуальные машины,
- обработка электронных транзакций,
- приложения баз данных.
Synology SA3200D позволяет упростить и централизовать инфраструктуру управления данными в форм-факторе 2U. Избыточность контроллеров хранения Synology High Availability автоматически сокращает время простоя хранилища до менее чем 1 минуты.
Архитектура Synology SA3200D с двумя контроллерами позволяет поддерживать работу и ключевые бизнес-функции в случае катастрофы или незапланированного отключения, приводящего к сбоям критически важных систем. Аппаратная избыточность контроллеров, блоков питания и вентиляторов гарантирует отсутствие сбоев. На SA3200D работает DiskStation Manager (DSM) — интуитивно понятная, многофункциональная операционная система, обеспечивающая комплексную защиту сети, файлов и приложений.
Synology SA3200D (Источник: Synology).
- Двойная активная/пассивная конфигурация в одном шасси для обеспечения максимальной доступности услуг и минимального времени простоя в течение нескольких минут.
- Инфраструктура высокой доступности с конкурентным соотношением цена/производительность 0,05 долл. за гигабайт.
- Масштабируемая архитектура общего хранилища с емкостью более 500 ТБ и минимальным снижением производительности.
- Автоматический механизм обхода отказа обеспечивает защиту услуг в режиме реального времени и предотвращает перерывы в обслуживании.
- Удобное предоставление и управление службами данных с помощью DiskStation Manager (DSM), который обеспечивает единый рабочий процесс на всех платформах Synology и поддержку сложных программных приложений.
- Сертифицированное решение для виртуализации с бесплатной защитой рабочих нагрузок.
Synology SA3200D является сертифицированным решением для виртуализации с поддержкой VMware® vSphere™, Microsoft® Hyper-V®, Citrix® XenServer™ и OpenStack Cinder. Он поддерживает протоколы iSCSI и NFS и интегрируется с VMware VAAI и Microsoft ODX.
