Облачные хранилища: где лучше хранить файлы? | Технологии | Блог | Клуб DNS

TL;DR: Вводная статья с описанием разных вариантов хранения данных. Будут рассмотрены принципы, описаны преимущества и недостатки, а также предпочтительные варианты использования.

Зачем это…

Зачем это все?

Хранение данных — одно из важнейших направлений развития компьютеров, возникшее после появления энергонезависимых запоминающих устройств. Системы хранения данных разных масштабов применяются повсеместно: в банках, магазинах, предприятиях. По мере роста требований к хранимым данным растет сложность хранилищ данных.

Надежно хранить данные в больших объемах, а также выдерживать отказы физических носителей — весьма интересная и сложная инженерная задача.

Функции памяти[править | править код]

Компьютерная память обеспечивает поддержку одной из функций современного компьютера, — способность длительного хранения информации. Вместе с центральным процессором запоминающее устройство являются ключевыми звеньями так называемой архитектуры фон Неймана, — принципа, заложенного в основу большинства современных компьютеров общего назначения.

Первые компьютеры использовали запоминающие устройства исключительно для хранения обрабатываемых данных. Их программы реализовывались на аппаратном уровне в виде жёстко заданных выполняемых последовательностей. Любое перепрограммирование требовало огромного объёма ручной работы по подготовке новой документации, перекоммутации, перестройки блоков и устройств и т. д. Использование архитектуры фон Неймана, предусматривающей хранение компьютерных программ и данных в общей памяти, коренным образом переменило ситуацию.

Любая информация может быть измерена в битах и потому, независимо от того, на каких физических принципах и в какой системе счисления функционирует цифровой компьютер (двоичной, троичной, десятичной и т. п.), числа, текстовая информация, изображения, звук, видео и другие виды данных можно представить последовательностями битовых строк или двоичными числами. Это позволяет компьютеру манипулировать данными при условии достаточной ёмкости системы хранения (например, для хранения текста романа среднего размера необходимо около одного мегабайта).

К настоящему времени создано множество устройств, предназначенных для хранения данных, основанных на использовании самых разных физических эффектов. Универсального решения не существует, у каждого имеются свои достоинства и свои недостатки, поэтому компьютерные системы обычно оснащаются несколькими видами систем хранения, основные свойства которых обуславливают их использование и назначение.

Общие принципы хранения информации, продлевающие срок её жизни

Существуют наиболее общие принципы, которые применимы к любому типу информации, будь то фотографии, текст или файлы и способные увеличить вероятность успешного доступа к ней в будущем, среди них:

  • Чем больше количество копий, тем вероятнее, что данные проживут дольше: книга, напечатанная миллионным тиражом, фотография, распечатанная в нескольких экземплярах для каждого родственника и сохраненная в цифровом виде на разных накопителях, скорее всего будут храниться и быть доступными долго.
  • Следует избегать нестандартных способов хранения (во всяком случае, как единственного способа), экзотических и проприетарных форматов, языков (например, для документов лучше использовать ODF и TXT, а не DOCX и DOC).
  • Хранить информацию следует в несжатых форматах и в незашифрованном виде — в противном случае, даже незначительное повреждение целостности данных может сделать всю информацию недоступной. Например, если требуется надолго сохранить медиа файлы, то для звука лучше будет WAV, для фотографий — несжатые RAW, TIFF и BMP, для видео — кадры без сжатия, DV, хотя это не вполне возможно в быту, учитывая объемы видео в данных форматах.
  • Регулярная проверка целостности и доступности данных, повторное их сохранение с использованием новых появившихся способов и устройств.

Итак, с основными идеями, которые помогут нам оставить фото с телефона правнукам, разобрались, переходим к информации о различных накопителях.

Организация хранения данных на компьютере

Ниже я приведу примеры того, как организовано хранение информации на моем персональном компьютере и ноутбуке.

Персональный компьютер:

Стоит одна операционная система Windows 10. Под нее отведен SSD M.2 диск Самсунг, объемом 250Гб.

Для хранения остальной информации установлен Seagate на 2Тб. На логические диски я его не разбивал, так как нет необходимости.

Ноутбук:

На ноутбуке стоит диск объемом 500гб и разбит он на 3 раздела:

  1. 100гб отведено под операционную систему Windows 8
  2. 200гб под видео игры музыку и т.п.
  3. 200гб для работы (программы, книги, учебная литература, различные графические материалы и т.п.)

Разбивайте диски по объему, исходя из своих потребностей. Если вы много играете в игры и мало слушаете музыку, то и жесткие диски разбивайте в тех пропорциях, которых, как вы думаете, Вам хватит для каждого из этих занятий. Когда диски будут заполнены перераспределить место на них у вас не получиться. Придется копировать всю информацию с диска на внешний носитель необходимого объема, а потом все перераспределять.

Приобретайте жесткие диски исходя из необходимого объема хранения данных, и правильно производите их логическую разбивку. Если позволяют средства, идеальным решением будет приобретение накопителя для отдельной установки на него операционной системы.

Идеальным решением будет приобретение SSD. Этот диск должен иметь только один основной раздел (исключением может быть, когда его необходимо разбить — это установка двух и более операционных систем). В этом случае размечаем его на то количество разделов, сколько мы хотим установить операционных систем.

Если вы приобрели персональный компьютер или ноутбук с уже установленной операционной системой, то обычно в них стоит один жесткий диск (а в ноутбуке второй диск просто так установить не получиться), то для создания еще одного или нескольких логических дисков вам потребуется специальное программное обеспечение (Partition Magic, Paragon Partition Manager, Acronis Disk Director).

Для работы с операционной системой подбирайте жесткий диск с максимальной скоростью работы, а для хранения данных лучше взять менее быстрый, но более надежный и емкий.

Перегрев жесткого диска при работе очень сильно влияет на его износ и в будущем может грозить потерей данных на нем. При покупке компьютера, обратите пристальное внимание на его охлаждение.

С организацией хранения данных на компьютере мы разобрались, теперь переходим к такому важному вопросу, как резервное хранение информации.

Хранение данных

Под хранением обычно понимают запись данных на некоторые накопители данных, с целью их (данных) дальнейшего использования. Опустим исторические варианты организации хранения, рассмотрим подробнее классификацию систем хранения по разным критериям. Я выбрал следующие критерии для классификации: по способу подключения, по типу используемых носителей, по форме хранения данных, по реализации.

По способу подключения есть следующие варианты:

  • Внутреннее. Сюда относятся классическое подключение дисков в компьютерах, накопители данных устанавливаются непосредственно в том же корпусе, где и будут использоваться. Типовые шины для подключения — SATA, SAS, из устаревших — IDE, SCSI.

vbnevatwel2grh0w8u90qvzyoqi.png
подключение дисков в сервере

  • Внешнее. Подразумевается подключение накопителей с использованием некоторой внешней шины, например FC, SAS, IB, либо с использованием высокоскоростных сетевых карт.

exghznlfzjm6a4mfyw3aj-unila.jpeg
дисковая полка, подключаемая по FC

По типу используемых накопителей возможно выделить:

  • Дисковые. Предельно простой и вероятно наиболее распространенный вариант до сих пор, в качестве накопителей используются жесткие диски
  • Ленточные. В качестве накопителей используются запоминающие устройства с носителем на магнитной ленте. Наиболее частое применение — организация резервного копирования.
  • Flash. В качестве накопителей применяются твердотельные диски, они же SSD. Наиболее перспективный и быстрый способ организации хранилищ, по емкости SSD уже фактически сравнялись с жесткими дисками (местами и более емкие). Однако по стоимости хранения они все еще дороже.
  • Гибридные. Совмещающие в одной системе как жесткие диски, так и SSD. Являются промежуточным вариантом, совмещающим достоинства и недостатки дисковых и flash хранилищ.

Если рассматривать форму хранения данных, то явно выделяются следующие:

  • Файлы (именованные области данных). Наиболее популярный тип хранения данных — структура подразумевает хранение данных, одинаковое для пользователя и для накопителя.
  • Блоки. Одинаковые по размеру области, при этом структура данных задается пользователем. Характерной особенностью является оптимизация скорости доступа за счет отсутствия слоя преобразования блоки-файлы, присутствующего в предыдущем способе.
  • Объекты. Данные хранятся в плоской файловой структуре в виде объектов с метаданными.

eakrn1zswurdksb2bxvs_k_gzty.jpeg

По реализации достаточно сложно провести четкие границы, однако можно отметить:

  • аппаратные, например RAID и HBA контроллеры, специализированные СХД.

vgxobo8xjpxmf-i0srof5062bmw.jpeg
RAID контроллер от компании Fujitsu

  • Программные. Например реализации RAID, включая файловые системы (например, BtrFS), специализированные сетевые файловые системы (NFS) и протоколы (iSCSI), а также SDS

r8r23a8wmi5wj4r8hsrngf-ut_i.png
пример организации LVM с шифрованием и избыточностью в виртуальной машине Linux в облаке Azure

Давайте рассмотрим более детально некоторые технологии, их достоинства и недостатки.

Внутренние устройства хранения информации

Внутренними являются устройства хранения информации, непосредственно встроенные в системную плату ПК.

Главное достоинство: является скорость обработки информации.

Оперативная память (Random Access Memory – RAM, Оперативное Запоминающее Устройство – ОЗУ) – устройство хранения информации и программ, которые управляют процессом обработки информации.

Информация хранится в оперативной памяти только во время работы ПК (пока компьютер включен).

Рисунок 14.

Кэш-память (Cash) – устройство хранения информации с очень коротким временем доступа к данным, встроенное в микросхему. Стандартный размер $256$ Кб или $512$ Кб, в мощных компьютерах до $1$Гб и выше.

Рисунок 15.

CMOS-память (Complementary Metal – Oxide Semiconductor) – устройство для длительного хранения информации о конфигурации и настройке ПК (например, о дате, времени, паролях), в том числе и при выключенном питании ПК. Выполнена в виде специальной электронной схемы со средним быстродействием и очень низким энергопотреблением. Питается $CMOS$-память от специального аккумулятора (батарейки), который установлен на материнской плате. Это полупостоянная память.

Рисунок 16.

BIOS (Basic Input/Output System – базовая система ввода-вывода) – постоянная память, в которую данные занесены при ее изготовлении.

$BIOS$ содержит функции для управления устройствами ПК, их тестирования при включении питания и осуществления начального этапа загрузки операционной системы ПК. В $BIOS$ содержится также программа настройки конфигурации компьютера, с помощью которой можно установить некоторые характеристики устройств ПК.

Сравнение стоимости

Облачный сервис Количество бесплатных ГБ (без бонусов) Стоимость пакетов в месяц
MAIL 8 ГБ

+ 64 ГБ руб

+ 128 ГБ 229 руб

+ 512 ГБ 379 руб

+ 1 ТБ 699 руб

+ 2 ТБ 1390 руб

+ 4 ТБ 2690 руб

OneDrive 5 ГБ Дополнительные планы хранения пока недоступны в РФ
iCloud 5 ГБ

+ 50 ГБ 59 руб

+200 ГБ 149 руб

+2 ТБ 599 руб

Dropbox 2 ГБ

+ 2 ТБ 9.99 $

+ 3 ТБ 16.58 $

+ 5 ТБ 12.5 $ (Business)

+ «сколько потребуется» 20 $ (Business)

Google Drive 15 ГБ

+ 100 ГБ 139 руб

+ 200 ГБ 219 руб

+ 2 ТБ 699 руб

+ 10 ТБ 6990 руб

+ 20 ТБ 13990 руб

+ 30 ТБ 20990 руб

Яндекс.Диск 10 ГБ

+ 100 ГБ 66 руб

+ 1 ТБ 167 руб

+ 3 ТБ 542 руб

Облака и эфемерные хранилища

Логическим продолжением перехода на виртуализацию является запуск сервисов в облаках. В предельном случае сервисы разбиваются на функции, запускаемые по требованию (бессерверные вычисления, serverless). Важной особенностью тут является отсутствие состояния, то есть сервисы запускаются по требованию и потенциально могут быть запущены столько экземпляров приложения, сколько требуется для текущей нагрузки. Большинство поставщиков (GCP, Azure, Amazon и прочие) облачных решений предлагают также и доступ к хранилищам, включая файловые и блочные, а также объектные. Некоторые предлагают дополнительно облачные базы, так что приложение, рассчитанное на запуск в таком облаке, легко может работать с подобными системами хранения данных. Для того, чтобы все работало, достаточно оплатить вовремя эти услуги, для небольших приложений поставщики вообще предлагают бесплатное использование ресурсов в течение некоторого срока, либо вообще навсегда.

xmh_qhff_cc2vjm4rhvxi6u1kdw.jpeg

Из недостатков: могут заблокировать аккаунт, на котором все работает, что может привести к простоям в работе. Также могут быть проблемы со связностью иили доступностью таких сервисов по сети, поскольку такие хранилища полностью зависят от корректной и правильной работы глобальной сети.

Рейтинг
( 1 оценка, среднее 5 из 5 )
Загрузка ...