Лекция 14. Архивирование и методы сжатия информации

14.1. Что такое архивирование

Несмотря на то, что объемы внешней памяти ЭВМ постоянно растут, потребность в архивации не уменьшается. Архивация необходима не только для экономии памяти, но и для надежного хранения копий ценной информации, для быстрой передачи информации по сети.

Степень сжатия информации зависит от типа файла и от выбранного метода упаковки. Степень (качество) сжатия файлов характеризуется коэффициентом сжатия:

Проблемы архивации тесно связаны с проблемами кодирования (замена символов текста двоичными кодами с помощью кодовой таблицы), шифрования (криптография), компрессией звуковых и видео-сигналов.

14.2. Какие существуют методы архивирования

В настоящее время разработано много алгоритмов архивации без потерь. Однако все они используют, в основном, две простые идеи.

14.3. Какими возможностями обладают архиваторы

Каждый архиватор обычно реализует свой собственный уникальный алгоритм сжатия.

14.4. Как сжать звуковые файлы

Компрессия без потерь используется, например, архиваторами ZIP, RAR, ARJ. Применение подобных алгоритмов для сжатия файлов, содержащих оцифрованный звук, не позволяет получить сжатие более чем в 2 раза.

Звуковой сигнал, преобразованный с помощью АЦП, обычно не повторяет сам себя и по этой причине плохо сжимается с помощью алгоритмов сжатия без потерь. Многие приемы сжатия аудиоинформации основываются на обмане органов чувств человека путем исключения избыточной и нформации, которую человек не способен воспринять (в силу своих физиологических особенностей).

Еще один способ сжатия звукового сигнала заключается в том, что исходный звуковой сигнал очищается с помощью фильтров от неслышимых компонент (например, низкие басовые шумы). Затем производится более сложный анализ сигнала: вычисляются и удаляются замаскированные частоты, заглушенные другими мощными сигналами. Таким образом можно исключить до 70% информации из сигнала, практически не изменив качество его звучания.

Есть и другие способы, так же основанные на свойствах человеческого слуха.

Если звуковой сигнал представляет собой однотонные звуки с постоянным уровнем громкости, то биоакустические свойства слуха не позволяют его сжать. В этом случае дают эффект традиционные методы архивации информации, например, алгоритм Хаффмана.

14.5. Как сжать графические файлы

Стандарт JPEG позволяет сократить размеры графического файла с неподвижным изображением в 10-20 раз. Этим методом удается при специальных действиях сжимать и движущиеся изображения.

Источник

Способы и программы архивации

В зависимости от того, в каком объекте размещены данные, подлежащие сжатию, различают:

— Сжатие (архивация) файлов: используется для уменьшения размеров файлов при подготовке их к передаче каналами связи или к транспортированию на внешних носителях маленькой емкости;

— Сжатие (архивация) папок: используется как средство уменьшения объема папок перед долгим хранением, например, при резервном копировании;

— Сжатие (уплотнение) дисков: используется для повышения эффективности использования дискового просторную путем сжатия данных при записи их на носителе информации (как правило, средствами операционной системы).

Программы, осуществляющие упаковку и распаковку файлов, называются программами-архиваторами. Программы для архивации отличаются используемыми методами сжатия, что соответственно влияет на степень сжатия. В работе с архивами основными операциями являются:

Большие по объему архивные файлы могут быть размещены на нескольких дисках (томах). Такие архивы называются многотомными. Том — это составная часть многотомного архива. Создавая архив из нескольких частей, можно записать его части на несколько дискет.

В настоящее время применяется несколько десятков программ-архиваторов, которые отличаются перечнем функций и параметрами работы, однако, лучшие из них имеют примерно одинаковые характеристики. Из числа наиболее популярных программ можно выделить: ARJ, PKPAK, LHA, ICE, HYPER, ZIP, РАК, ZOO, EXPAND, разработанные за рубежом, а также AIN и RAR, разработанные в России. Большое количество информации, передаваемой в глобальной сети Интернет, бывает упаковано архиватором WinZip.

Рис.1. Значок архива WinRar

Обычно упаковка и распаковка файлов выполняются одной и той же программой, но в некоторых случаях это осуществляется разными программами, например, программа PKZIP производит упаковку файлов, a PKUNZIP — распаковку файлов. Программы-архиваторы позволяют создавать и такие архивы, для извлечения из которых содержащихся в них файлов не требуются какие-либо программы, так как сами архивные файлы могут содержать программу распаковки. Такие архивные файлы называются самораспаковывающимися.

Многие программы-архиваторы производят распаковку файлов, выгружая их на диск, но имеются и такие, которые предназначены для создания упакованного исполняемого модуля (программы). В результате такой упаковки создается программный файл с теми же именем и расширением, который при загрузке в оперативную память самораспаковывается и сразу запускается. Вместе с тем возможно и обратное преобразование программного файла в распакованный формат. К числу таких архиваторов относятся программы PKLITE, LZEXE, UNP.

Программа EXPAND, входящая в состав утилит операционной системы MS-DOS и оболочки Windows, применяется для распаковки файлов программных продуктов, поставляемых фирмой Microsoft.

Программы-архиваторы RAR и AIN, кроме обычного режима сжатия, имеют режим solid, в котором создаются архивы с повышенной степенью сжатия и особой структурой организации. В таких архивах все файлы сжимаются как один поток данных, т.е. областью поиска повторяющихся последовательностей символов является вся совокупность файлов, загруженных в архив, и поэтому распаковка каждого файла, если он не первый, связана с обработкой других. Архивы такого типа предпочтительнее использовать для архивирования большого числа однотипных файлов.

Таблица 1 – Поддерживаемые форматы архивов

Статьи к прочтению:

Как архиваторы сжимают данные

Похожие статьи:

ПРОГРАММЫ-АРХИВАТОРЫ ОБЩИЕ СВЕДЕНИЯ ОБ АРХИВАЦИИ ФАЙЛОВ Понятие процесса архивации файлов Одним из наиболее широко распространенных видов сервисных…

Муниципальное образовательная учреждение «Асановская средняя образовательная школа» Комсомольского района Чувашской Республики Реферат Троянские…

Источник

Какие существуют методы архивации данных и чем они различаются

Архивирование и разархивирование файлов

Проблема сжатия файла

При передаче данных по сети могут возникнуть проблемы из-за их большого объема. Пропускная способность каналов может быть ограничена. Поэтому время передачи может оказаться слишком большим.

Также для хранения и переноса файлов при помощи внешних носителей может не хватать свободного места.

Решение поставленных проблем заключается в сжатии данных, которое ведет к сокращению объема данных при сохранении закодированного в них содержания.

Определение: Программы, осуществляющие сжатие данных, называются архиваторами.

Первые архиваторы появились в середине 1980-х годов. Главной целью их использования была экономия места на дисках, информационный объем которых в те времена был значительно меньше объема современных дисков.

Архивация проводится в следующих случаях:

1. Когда необходимо создать резервные копии наиболее ценных файлов.

2. Когда необходимо освободить место на диске.

3. Когда необходимо передать файлы по E-mail.

Первая идея. Алгоритм сжатия с использованием кода переменной длины

Данные, подвергающиеся сжатию, специальным образом делят на части (цепочки символов, «слова»). Заметим, что «словом» может быть и отдельный символ (код ASCII ). Для каждого «слова» находится частота встречаемости: отношение количества повторений данного «слова» к общему числу «слов» в массиве данных. Идея алгоритма сжатия ин­формации: кодировать наиболее часто встречающиеся «слова» кодами меньшей длины, чем редко встречающиеся «слова». При этом можно существенно сократить объем файла.

Такой подход известен давно. Он используется в азбуке Морзе, где символы кодируются различными последовательностями точек и тире, причем чаще встречающиеся символы имеют более короткие коды. Например, часто используемая буква «А» кодируется так: • – (точка, тире). А редкая буква «Ж» кодиру­ется: • • • – (точка, точка, точка, тире). В отличие от кодов одинаковой длины, в этом случае возникает проблема отделения кодов букв друг от друга. В азбуке Морзе эта проблема решается с помощью «паузы» (пробела), которая, по сути, является третьим сим­волом алфавита Морзе, то есть алфавит Морзе не двух-, а трех символьный.

Информация в памяти ЭВМ хранится с использованием двух символьного алфавита. Специального символа-разделителя нет. И все же удалось придумать способ сжатия данных с переменной длиной кода «слов», не требующий символа-разделителя. Такой алгоритм называется алгоритмом Д. Хаффмена (впервые опубликован в 1952 году). Все уни­версальные архиваторы работают по алгоритмам, подобным алгоритму Хаффмена.

Вторая идея. Алгоритм сжатия с использованием коэффициента повторения

Смысл алгоритма, основанного на этой идее, заключается в следующем: если в сжимаемом массиве данных встречается цепочка из повторяющихся групп символов, то ее заменяют парой: число (коэффициент) повторений – группа символов. В этом случае для длинных повторяющихся цепочек выигрыш памяти при сжатии может быть очень большим. Данный метод наиболее эффективен при упаковке графической информации.

Все программы-архиваторы обычно предоставляют следующие возможности :

Пользоваться программами-архиваторами очень просто.

Похожим образом происходит обратное действие – извлечение файлов из архива (распаковка архива).

WinRAR – это 32 разрядная версия архиватора RAR для Windows. Это мощное средство создания архивов и управления ими. Есть несколько версий RAR, для разных операционных систем: Windows, Linux, UNIX, DOS, OS/2 и т.д.

Существует две версии RAR для Windows :

WinRAR имеет и другие дополнительные функции. WinRAR способен создать архив в двух различных форматах: RAR иZIP. Рассмотрим преимущества каждого формата.

Архив в формате ZIP

Основное преимущество формата ZIP – его популярность. Например, большинство архивов в Internet – это архивы ZIP. Поэтому приложение к электронной почте лучше всего направлять в формате ZIP. Можно также направить самораспаковывающийся архив. Такой архив является немного большим, но может быть извлечен без внешних программ. Другое преимущество ZIP – скорость. Архив ZIP обычно создается быстрее, чем RAR.

Архив в формате RAR

Формат RAR в большинстве случаев обеспечивает значительно лучшее сжатие, чем ZIP. Кроме того, формат RAR обеспечивает поддержку многотомных архивов, имеет средства восстановления поврежденных файлов, архивирует файлы практически неограниченных размеров. Необходимо отметить, что при работе в файловой системе FAT32 архивы могу достигать только 4 гигабайт. Работа с большими размерами архива поддерживается только в файловой системе NTFS.

Программа архивации Microsoft Backup (резервная копия)

Программа архивации позволяет защитить данные от случайной утери в случае, если в системе возникает сбой оборудования или носителя информации. С помощью Backup можно создать резервную копию данных на жестком диске, а затем создать архив на другом носителе данных. Носителем архива может быть логический диск или отдельное устройство (съемный диск).

Программа архивации создает снимок состояния тома, представляющий собой точную копию содержимого диска на определенный момент времени, в том числе открытых файлов, используемых системой. Во время выполнения программы архивации пользователь может продолжать работать с ОС без риска потери данных.

Программа архивации предоставляет следующие возможности:

Backup восстанавливает архивированные файлы и папки на жесткий диск.

Программа архивации позволяет восстанавливать копии важных системных компонентов, таких, как реестр, загрузочные файлы и база данных службы каталогов.

Источник

К вопросу об архивации данных

Если, например, в каком-то аэропорту теряет ноутбук/накопитель рядовой пользователь, он может купить новый и дело с концом. А если свой ноутбук, вместе с хранящимися на винчестере документами с коммерческой тайной, потерял там какой-нибудь владелец крупной фирмы, последствия могут быть губительны для его бизнеса. Но перечислим все риски

вредоносные программы, шифровальщики например

На все риски ответ один, данные архивируют в резервные хранилища. При архивировании встаёт ряд вопросов:

Рассмотрим их детально

Где архивировать

Есть несколько вариантов

на внешних носителях

в облачном хранилище

Я когда был студентом, хранил все важные данные (рефераты, курсовые) на флешке, которую всегда носил с собой. Флешка ни разу меня не подводила. И в наши дни не подводит. Однако, если иметь ввиду природу памяти флешки, можно понять, что для длительного хранения она не подходит.

Я летом этого года покупал флешку на 16 гигов, для DrWeb Live Disk. Пару раз я ей воспользовался, когда установил на неё DrWeb и когда пылесосил комп. При очередной попытке загрузиться с неё я обнаружил, что она не только не открывается, но и не обнаруживается как устройство. Потрогав её я понял, что флешке пришёл красивый пушной зверёк.

Также внешний носитель легко потерять. И чем больше габариты носителя, тем проще. Иногда достаточно оставить без присмотра. Я так потерял флешку, на которой установил MS-DOS.

Преимущество облачного хранилища перед другими вариантами в том, что физически данные могут быть несколько раз продублированы в местах с различным географическим расположением. Авария в одном из дата-центров не подрывает сохранности данных.

Однако, хранение данных в облачном хранилище означает, что ваши данные больше не подконтрольны вам. Шифрование данных на винчестере сокращает размер информации, которая нуждается в физической защите. А шифрование данных в облаке делает вообще возможным контроль за их движением. Т.е. данные нужно шифровать

Как шифровать

Как хранить ключи

Хранить ключи лучше в единой БД, пусть это будет даже текстовый файл. И желательно отдельно от данных. Также помним, что ключевая БД много меньше по размеру самих данных. Это значит, что её проще контролировать.

Варианты хранения также несколько Например, хранить на флешке с небольшим объёмом памяти. И сделать хоть тысячу копий на случай отказа одной из них. Но тогда каждый ключ нужно снабжать хэш-значением. У меня не так давно полетела флешка, отформатированная NTFS, с хранящимися на ней паролями. Предварительно вычисленные их хеши сэкономили мне немало времени на их восстановление, поскольку восстанавливал вручную из MFT, дабы избежать полной потери данных.

Но тогда какой смысл, хранить ключи на флешке или сами файлы на флешке. Риски всё те же. Как вариант, хранить ключевой файл в облачном менеджере паролей, защищённом доступом по СМС. Например: Keeper, Kaspersky Password Manager, т.е. уже с физической защитой. Без необходимости хранить ключевой файл на флешке с риском потери.

В каком формате архивировать

Один человек на Хабре пишет, что шифруется TrueCrypt’ом. Так дело в том, что TrueCrypt уже не поддерживается, он перестал поддерживаться с окончанием поддержки хрюсофта. То же самое с VeraCrypt, которую советуют там же некоторые товарищи. Где гарантии, что их не закроют через год, два и т.д.? Вот смотрите (предполагаемый вариант развития событий):

1 Всё хорошо, винт работает, вы копируете в облако контейнер, зашифрованный VeraCrypt. Дистрибутив не сохраняете.

2 Проходит несколько лет. Их конторку в результате каких то санкций прикрывают. Вы об этом даже не подозреваете.

3 Проходит несколько лет. Вы всё также копируете в облако контейнер, зашифрованный VeraCrypt. Бац, винт полетел. Вы скачиваете с облака зашифрованный контейнер. Ищете программу VeraCrypt в Интернете. А её либо нигде нет, либо её невозможно установить по причине, например, кончины сертификата, которым подписывается инсталлятор.

Как всё автоматизировать

Этот вопрос частично я оставляю за вами. Мне интересно ваше мнение. Я пробовал CryptSync с настройками синхронизации в каталог OneDrive. Но этот способ не подходит по причине шифрования всех файлов одним паролем. Можно сделать батник, генерирующий пароли с помощью OpenSSL и упаковывающий файлы по 7z архивам. Потом вызывать этот батник из GoodSync. Но тогда встаёт вопрос автоматического сохранения паролей в файл. Допустим файл находится в Keeper. Тогда нужно реализовать авторизацию.

Источник

1. Архивация данных

Архивация проводится в следующих случаях:

Архивный файл представляет собой набор из нескольких файлов (одного файла), помещенных в сжатом виде в единый файл, из которого их можно при необходимости извлечь в первоначальном виде. Архивный файл содержит оглавление, позволяющее узнать, какие файлы содержатся в архиве.

В оглавлении архива для каждого содержащегося в нем файла хранится следующая информация:

Любой из архивов имеет свою шкалу степени сжатия. Чаще всего можно встретить следующую градацию методов сжатия:

Что такое архиваторы?

Архиваторы – это программы (комплекс программ) выполняющие сжатие и восстановление сжатых файлов в первоначальном виде. Процесс сжатия файлов называется архивированием. Процесс восстановления сжатых файлов – разархивированием. Современные архиваторы отличаются используемыми алгоритмами, скоростью работы, степенью сжатия (WinZip 9.0, WinAce 2.5, PowerArchiver 2003 v.8.70, 7Zip 3.13, WinRAR 3.30, WinRAR 3.70 RU).

В ОС MS DOS существуют архиваторы, но они работают только в режиме командной строки. Это программы PKZIP и PKUNZIP, программа архиватора ARJ. Современные архиваторы обеспечивают графический пользовательский интерфейс и сохранили командную строку. В настоящее время лучшим архиватором для Windows является архиватор WinRAR.

Существует две версии RAR для Windows:

WinRAR имеет и другие дополнительные функции. WinRAR способен создать архив в двух различных форматах: RAR иZIP.

Рассмотрим преимущества каждого формата.

Архив в формате ZIP

Архив в формате RAR

формат RAR в большинстве случаев обеспечивает значительно лучшее сжатие, чем ZIP. Кроме того, формат RAR обеспечивает поддержку многотомных архивов, имеет средства восстановления поврежденных файлов, архивирует файлы практически неограниченных размеров. Необходимо отметить, что при работе в файловой системе FAT32 архивы могу достигать только 4 гигабайт. Работа с большими размерами архива поддерживается только в файловой системе NTFS.

Программа архивации Microsoft Backup (резервная копия)

Запуск программы осуществляется: Пуск – программы – стандартные – служебные – архивация данных. Откроется мастер архивации и восстановления в обычном режиме. Из этого режима можно перейти в расширенный режим для работы с мастером архивации, мастером восстановления и мастером аварийного восстановления ОС.

Программа архивации позволяет защитить данные от случайной утери в случае, если в системе возникает сбой оборудования или носителя информации. С помощью Backup можно создать резервную копию данных на жестком диске, а затем создать архив на другом носителе данных. Носителем архива может быть логический диск или отдельное устройство (съемный диск).

Программа архивации создает снимок состояния тома, представляющий собой точную копию содержимого диска на определенный момент времени, в том числе открытых файлов, используемых системой. Во время выполнения программы архивации пользователь может продолжать работать с ОС без риска потери данных.

Программа архивации предоставляет следующие возможности:

Источник