Дедупликация данных в windows server 2012 r2 очистка

Выполнение дедупликации данных Running Data Deduplication

Применяется к: Windows Server (Semi-Annual Channel), Windows Server 2016 Applies to: Windows Server (Semi-Annual Channel), Windows Server 2016

Запуск заданий дедупликации данных вручную Running Data Deduplication jobs manually

Каждое запланированное задание дедупликации данных можно запустить вручную следующими командлетами PowerShell: You can run every scheduled Data Deduplication job manually by using the following PowerShell cmdlets:

При запуске задания вручную доступны все параметры, доступные при планировании задания дедупликации данных, за исключением параметров планирования. All settings that are available when you schedule a Data Deduplication job are also available when you start a job manually except for the scheduling-specific settings. Например, чтобы запустить вручную задание оптимизации с высоким приоритетом и максимальным использованием ЦП и памяти, выполните следующую команду PowerShell с правами администратора: For example, to start an Optimization job manually with high priority, maximum CPU usage, and maximum memory usage, execute the following PowerShell command with administrator privilege:

Наблюдение за дедупликацией данных Monitoring Data Deduplication

Задание выполнено успешно Job successes

Так как дедупликация данных использует модель постобработки, важно, чтобы задания дедупликации данных выполнялись успешно. Because Data Deduplication uses a post-processing model, it is important that Data Deduplication jobs succeed. Простой способ проверить состояние последнего задания — использовать Get-DedupStatus командлет PowerShell. An easy way to check the status of the most recent job is to use the Get-DedupStatus PowerShell cmdlet. Периодически проверяйте следующие поля: Periodically check the following fields:

Уровни оптимизации Optimization rates

Одним из индикаторов сбоя при выполнении задания оптимизации является снижение скорости оптимизации. Оно может означать, что задания оптимизации не могут своевременно обрабатывать все изменения или обновления. One indicator of Optimization job failure is a downward-trending optimization rate which might indicate that the Optimization jobs are not keeping up with the rate of changes, or churn. Частоту оптимизации можно проверить с помощью Get-DedupStatus командлета PowerShell. You can check the optimization rate by using the Get-DedupStatus PowerShell cmdlet.

Отключение дедупликации данных Disabling Data Deduplication

Чтобы отключить дедупликацию данных, запустите задание отмены оптимизации. To turn off Data Deduplication, run the Unoptimization job. Чтобы отменить оптимизацию тома, выполните следующую команду: To undo volume optimization, run the following command:

Если том не имеет достаточно места для хранения неоптимизированных данных, задание отмены оптимизации завершится сбоем. The Unoptimization job will fail if the volume does not have sufficient space to hold the unoptimized data.

Часто задаваемые вопросы Frequently Asked Questions

Существует ли какой-либо доступный пакет управления System Center Operations Manager для отслеживания дедупликации данных? Is there a System Center Operations Manager Management Pack available to monitor Data Deduplication? Да. Yes. Дедупликацию данных можно отслеживать при помощи пакета управления System Center для File Server. Data Deduplication can be monitored through the System Center Management Pack for File Server. Дополнительные сведения см. в руководстве по пакету управления System Center для File Server 2012 R2. For more information, see the Guide for System Center Management Pack for File Server 2012 R2 document.

Источник

Дедупликация данных в Windows Server 2012

В Windows Server 2012 появилась новая функция Data Deduplication (Дедупликация данных). Что же такое дедубликация? Дедупликация данных в общем случае – это процедура поиска и удаления дублирующих данных на носителе информации без ущерба для целостности информации. Цель дудупликации – хранить информацию в небольших блоках (32-128 Кб), выявлять одинаковые (дублирующие блоки) и сохранять только одну копию для каждого блока, а блоки-дубликаты заменять ссылками на единственную копию.

Ранее для организации дедупликации приходилось использовать сторонние продукты (существуют как аппаратные решение по дедупликации на уровне дисковых массивов, так и программные на уровне файлов). Стоимость подобных решений была достаточно высока, ведь они в первую очередь ориентированы на богатых корпоративных заказчиков. Теперь эта функция абсолютно бесплатно доступна всем пользователям a Windows Server 2012.

В Windows Server 2012 функция дедупликация реализована в виде двух компонентов:

Указанные компоненты отвечают за поиск совпадающих данных, организации их хранения в единственном числе и корректное предоставление к ним доступа.

Ранее дедупликация в продуктах Microsoft встречалась в почтовом сервер Exchange 200/2003/2007 – в компоненте Single Instance Storage (на сервере в ящике одного из адресатов хранится только один экземпляр сообщения, а остальные адресаты получают просто ссылку на него).

Функционал управления дедупликацей доступен из графического интерфейса и через PowerShell. Рассмотрим оба варианта.

Windows Server 2012 Data Deduplication GUI

Чтобы включить дедупликацию данных нужно установить компонент Data Deduplicaion роли File and Storage Services. Сделать это можно из консоли Server Manahger.

В следующем окне поставьте галочку на пункт “Enable data deduplication”. Здесь же можно указать каталоги, которые не нужно дедуплицировать и настройки планировщика дедупликации.

Текущий уровень дедупликации будет отображаться в столбце Deduplication Rate (обновится через несколько часов).

Для анализа использования дискового пространства и возможной экономии от включения дедупликаций для данного тома, разработана утилита DDPEVAL.exe. Оценить, сколько же дискового пространства получится сэкономить после включении Data deduplication, можно с помощью следующей команды (учтите, для больших томов она может создать существенную нагрузку на CPU)

В моем случае экономия составила бы порядка 57%.

Дедупликация с Powershell

Процессом дедупликации можно управлять и из Powershell. Для этого нужно установить функцию Data-Deduplicationс помощью команд:

После того, как функция дедупликации включена, ее нужно сконфигурировать. Чтобы включить дедуплликацию для диска D:, выполним команду:

По-умолчаию дедупликации подвергаются файлы, к которым не было доступа (Last Access)более 30 дней. Это значение можно изменить, например, на 2 дня, для этого выполните команду:

Обычно процесс дедупликации запускается планировщиком Windows, но его можно запустить и вручную:

Текущую статистику можно посмотреть с помощью команды:

Со списком текущих заданий можно познакомится с помощью команды:

Все результаты работы для тома можно отобразить командой PoSH:

И, наконец, полностью отменить дедупликацию для тома можно командой:

На скриншоте ниже видно, что после включения дедупликации на диске E: (для теста я сложил на него 4 одинаковых ISO с Windows 8), размер занятого места на диске уменьшился с 12 Гб до 3Гб.

Рекомендации по использованию технологии Data Deduplication в Windows Server 2012

Microsoft опубликовала следующие результаты исследования эффективности при дудупликации различных типов данных.

Основные особенности Data Deduplication в Windows Server 2012:

Источник

Записки IT специалиста

Технический блог специалистов ООО»Интерфейс»

Полностью отключаем дедупликацию в Windows

Вопреки традициям начнем с короткого практического вступления. После апгрейда дисковой подсистемы в нашей виртуальной лаборатории мы решили отключить дедупликацию и восстановить дедуплицированные данные. Общий объем данных на томе составлял 2,9 ТБ, в сжатом виде он занимал 1,2 ТБ, а емкость дискового массива равнялась 3,63 ТБ. Вроде бы все в порядке и проблем возникнуть не должно, места для восстановленных данных хватает с запасом. Ну тогда запускаем!

Через какое-то время мы с некоторым удивлением наблюдали следующую картину:

Но не будем спешить, а прежде всего разберемся в сути происходящих процессов. Начнем с дедупликации, что происходит во время оптимизации данных? Давайте посмотрим на схему ниже:

Уникальные данные обозначены синим цветом, а одинаковые блоки зеленым и красным. В процессе дедупликации такие блоки копируются в специальное хранилище и в таблице файлов (MFT) ссылки на них заменяются ссылками на блок хранилища. Оптимизированные блоки могут быть сразу очищены, безо всякого опасения потери данных, тем самым достигается выигрыш в дисковом пространстве.

В нашем примере степень дедупликации составила 25%, при этом объем данных на диске уменьшился с 4 ГБ до 2,5 ГБ, но еще 0,5 ГБ оказалось помещено в хранилище.

А теперь рассмотрим обратный процесс.

При восстановлении дедуплицированных данных система последовательно находит блоки, имеющие ссылку на хранилище, извлекает из хранилища нужные данные и записывает их на диск для каждого файла отдельно, заменяя в MFT ссылки на хранилище ссылками на реальные данные. Но блоки их хранилища удалять нельзя, так как они могут быть использованы во множестве иных мест. Процесс удаления неиспользуемых блоков хранилища (уборка мусора) будет запущен после процесса восстановления.

Таким образом для успешного восстановления нам нужно иметь запас свободного пространства равный размеру данных + размеру хранилища! Размер хранилища в свою очередь зависит от разнородности данных, чем более разнообразные данные хранятся на томе, тем большее количество блоков будет находиться в хранилище и может оказаться так, что свободного места на томе для одновременного расположения восстановленных данных и хранилища не хватит.

Что делать в таком случае? Остановить процесс восстановления и принудительно выполнить уборку мусора. Обычно администраторы нервно реагируют на прерывание процессов обработки данных, но в данном случае бояться нечего.

Давайте посмотрим еще на одну схему:

В процессе восстановления система успела восстановить два нижних файла и частично один верхний, но затем да диске закончилось свободное место. Останавливаем восстановление и запускаем уборку мусора. Сборщик мусора произведет анализ и выяснит, что на красный блок хранилища ссылок в MFT нет и его можно удалить. Таким образом часть места будет освобождена и процесс восстановления можно будет продолжить.

Как оценить размер необходимого свободного пространства? Достаточно просто, сначала откройте свойства диска, затем выделите все пользовательские данные и оцените их размер.

Как видим размер оптимизированных данных 20,7 ГБ, полный размер 64,5 ГБ из них на диске 32,8 МБ. Что это значит? А это означает, что остальной объем данных расположен в хранилище. Так как размером в 38 МБ можно пренебречь, то мы имеем размер хранилища в 20,7 ГБ, поэтому для успешного восстановления данных нам потребуется 85,2 ГБ.

Теперь, когда вы владеете теорией, можно переходить к практике. Прежде всего отключите все регламентные задания, связанные с дедупликацией, не удаляйте, а именно отключите.

Затем откроем консоль PowerShell с правами администратора и запустим процесс восстановления данных:

Если свободного места для завершения операции нам не хватает, то остановим операцию:

Так как данная операция автоматически выключает дедупликацию для тома снова включим ее:

И запустим уборку мусора:

По окончании данного процессора снова можно запустить процесс восстановления данных. Для контроля выполняемых процессов используйте команду:

Можно ли работать с данными во время процесса восстановления? Да, можно, но придется мириться с некоторым снижением производительности дисковой подсистемы. Как показывает наш опыт, критического падения производительности не происходит, мы даже смогли запустить несколько виртуальных машин и работать с ними, не испытывая сильного дискомфорта.

После того, как все операции будут завершены еще раз проверьте состояние дедупликации командой:

Дедупликация тома должна быть выключена (False в колонке Enabled), если это не так, то выполните:

Как видим, располагая знаниями о происходящих процессах, мы можем успешно выполнить операцию отключения дедупликации и восстановления данных без нервных срывов, простоев и судорожных действий сомнительного содержания, хотя в самом начале ситуация представлялась нестандартной и непонятной.

Поэтому мы в очередной раз выразим свое твердое мнение, что системный администратор должен в обязательном порядке владеть необходимым минимумом знаний о применяемых им в работе технологиях.

Помогла статья? Поддержи автора и новые статьи будут выходить чаще:

Или подпишись на наш Телеграм-канал:

Источник

Установка и включение дедупликации данных Install and enable Data Deduplication

Область применения: Windows Server (Semi-Annual Channel), Windows Server 2016 Applies to Windows Server (Semi-Annual Channel), Windows Server 2016

В этой статье описано, как установить дедупликацию данных, оценить рабочие нагрузки для дедупликации, а также включить дедупликацию данных для отдельных томов. This topic explains how to install Data Deduplication, evaluate workloads for deduplication, and enable Data Deduplication on specific volumes.

Если вы планируете использовать дедупликацию данных в отказоустойчивом кластере, на каждом узле кластера должна быть установлена роль сервера дедупликации данных. If you’re planning to run Data Deduplication in a Failover Cluster, every node in the cluster must have the Data Deduplication server role installed.

Установка дедупликации данных Install Data Deduplication

Обновление KB4025334 содержит накопительный пакет исправлений, в том числе обеспечивающих надежность системы. Мы настоятельно рекомендуем установить его при использовании дедупликации данных в Windows Server 2016. KB4025334 contains a roll up of fixes for Data Deduplication, including important reliability fixes, and we strongly recommend installing it when using Data Deduplication with Windows Server 2016.

Установка дедупликации данных с помощью диспетчера сервера Install Data Deduplication by using Server Manager

Установка дедупликации данных с помощью PowerShell Install Data Deduplication by using PowerShell

Чтобы установить дедупликацию данных на Nano Server: To install Data Deduplication in a Nano Server installation:

Подключитесь к экземпляру Nano Server через систему удаленного взаимодействия PowerShell и установите дедупликацию данных с помощью DISM: Connect remotely to the Nano Server instance with PowerShell remoting and install Data Deduplication by using DISM:

Включение дедупликации данных Enable Data Deduplication

Определение рабочих нагрузок для дедупликации Determine which workloads are candidates for Data Deduplication

Дедупликация данных может очень эффективно снизить затраты, связанные с потреблением данных серверного приложения, уменьшая объем, занимаемый избыточными данными на дисках. Data Deduplication can effectively minimize the costs of a server application’s data consumption by reducing the amount of disk space consumed by redundant data. Прежде чем включать дедупликацию, очень важно определить характеристики рабочей нагрузки. Это позволит добиться максимальной производительности хранилища. Before enabling deduplication, it is important that you understand the characteristics of your workload to ensure that you get the maximum performance out of your storage. Существует два класса рабочих нагрузок, для которых стоит применять дедупликацию. There are two classes of workloads to consider:

Оценка дедупликации данных для рабочих нагрузок Evaluate workloads for Data Deduplication

Если вы используете рекомендуемые рабочие нагрузки, можно пропустить этот раздел и сразу включить дедупликацию данных. If you are running a recommended workload, you can skip this section and go to Enable Data Deduplication for your workload.

Чтобы определить, применимость дедупликации для рабочей нагрузки, ответьте на следующие вопросы. To determine whether a workload works well with deduplication, answer the following questions. Если вы не уверены в характеристиках рабочей нагрузки, можно выполнить пилотное развертывание дедупликации данных на тестовом наборе данных этой рабочей нагрузки. If you’re unsure about a workload, consider doing a pilot deployment of Data Deduplication on a test dataset for your workload to see how it performs.

Как выглядят шаблоны ввода-вывода рабочей нагрузки в наборе данных? Какова производительность для моей рабочей нагрузки? What do my workload’s I/O patterns to its dataset look like? What performance do I have for my workload? Дедупликация данных оптимизирует файлы, выполняя периодическое задание, а не во время сохранения файла на диск. Data Deduplication optimizes files as a periodic job, rather than when the file is written to disk. В связи с этим сначала следует оценить ожидаемые шаблоны рабочей нагрузки на чтение из дедуплицированного тома. As a result, it is important to examine is a workload’s expected read patterns to the deduplicated volume. Поскольку дедупликация данных перемещает содержимое файла в хранилище блоков и пытается как можно плотнее заполнять его файлами, более эффективно будут выполняться операции чтения из последовательных диапазонов файла. Because Data Deduplication moves file content into the Chunk Store and attempts to organize the Chunk Store by file as much as possible, read operations perform best when they are applied to sequential ranges of a file.

Рабочие нагрузки баз данных обычно имеют более случайный характер операций чтения, так как база данных не гарантирует оптимальную структуру данных для всех возможных выполняемых запросов. Database-like workloads typically have more random read patterns than sequential read patterns because databases do not typically guarantee that the database layout will be optimal for all possible queries that may be run. Данные из одного раздела хранилища блоков могут располагаться в разных частях тома, поэтому обращение к хранилищу данных может приводить к дополнительным задержкам. Because the sections of the Chunk Store may exist all over the volume, accessing data ranges in the Chunk Store for database queries may introduce additional latency. Высокопроизводительные рабочие нагрузки особенно чувствительны к таким задержкам, но это справедливо не для всех баз данных. High performance workloads are particularly sensitive to this extra latency, but other database-like workloads might not be.

Эти проблемы особенно важны для рабочих нагрузок, которые хранят данные на томах, состоящих из традиционных носителей с вращающимися дисками (жесткие диски или HDD). These concerns primarily apply to storage workloads on volumes made up of traditional rotational storage media (also known as Hard Disk drives, or HDDs). Любая инфраструктура флэш-памяти (твердотельные накопители или SSD) менее подвержена проблемам случайных операций ввода-вывода, так как флэш-память обеспечивает одинаковое время доступа ко всем расположениям на носителе. All-flash storage infrastructure (also known as Solid State Disk drives, or SSDs), is less affected by random I/O patterns because one of the properties of flash media is equal access time to all locations on the media. Таким образом, дедупликация будет сопряжена с разной величиной задержки при операциях чтения в зависимости от того, где хранятся наборы данных рабочей нагрузки: на носителях на основе флэш-памяти или на традиционных вращающихся дисках. Therefore, deduplication will not introduce the same amount of latency for reads to a workload’s datasets stored on all-flash media as it would on traditional rotational storage media.

Какие требования к ресурсам сервера предъявляет рабочая нагрузка? What are the resource requirements of my workload on the server? Так как дедупликация данных использует модель постобработки, она предполагает периодическое выделение значительных системных ресурсов для выполнения оптимизации и других заданий. Because Data Deduplication uses a post-processing model, Data Deduplication periodically needs to have sufficient system resources to complete its optimization and other jobs. Это означает, что рабочие нагрузки с определенными периодами простоя (например, в вечернее время или выходные дни) прекрасно подходят для дедупликации, в отличие от рабочих нагрузок, выполняемых круглосуточно изо дня в день. This means that workloads that have idle time, such as in the evening or on weekends, are excellent candidates for deduplication, and workloads that run all day, every day may not be. Но при этом дедупликацию можно успешно применить и для рабочих нагрузок без периодов простоя, если такие нагрузки не имеют высоких требований к ресурсам сервера. Workloads that have no idle time may still be good candidates for deduplication if the workload does not have high resource requirements on the server.

Включение дедупликации данных Enable Data Deduplication

Перед включением дедупликации данных следует выбрать тип использования, который соответствует вашей рабочей нагрузке. Before enabling Data Deduplication, you must choose the Usage Type that most closely resembles your workload. Существует три типа использования для дедупликации данных: There are three Usage Types included with Data Deduplication.

Включение дедупликации данных с помощью диспетчера сервера Enable Data Deduplication by using Server Manager

Дополнительные сведения об исключении определенных расширений файлов или папок, а также о создании расписания дедупликации (включая описание причин этих изменений), см. на странице Настройка дедупликации данных. You can find more information on excluding file extensions or folders and selecting the deduplication schedule, including why you would want to do this, in Configuring Data Deduplication.

Включение дедупликации данных с помощью PowerShell Enable Data Deduplication by using PowerShell

Выполните следующую команду PowerShell с правами администратора: With an administrator context, run the following PowerShell command:

Если вы используете рекомендуемую рабочую нагрузку, на этом процесс окончен. If you are running a recommended workload, you’re done. Для других рабочих нагрузок изучите раздел Дополнительные вопросы. For other workloads, see Other considerations.

Дополнительные рекомендации Other considerations

Если ваша рабочая нагрузка относится к категории рекомендуемых, этот раздел можно пропустить. If you are running a recommended workload, you can skip this section.

Часто задаваемые вопросы Frequently asked questions (FAQ)

Я хочу выполнить дедупликацию данных в наборе данных для рабочей нагрузки X. Поддерживается ли это? I want to run Data Deduplication on the dataset for X workload. Is this supported? Мы полностью гарантируем целостность данных при применении дедупликации данных с любой рабочей нагрузкой, кроме включенных в список несовместимых с дедупликацией. Aside from workloads that are known not to interoperate with Data Deduplication, we fully support the data integrity of Data Deduplication with any workload. Для рекомендуемых рабочих нагрузок корпорация Майкрософт также гарантирует повышение производительности. Recommended workloads are supported by Microsoft for performance as well. Производительность других рабочих нагрузок в значительной мере зависит от того, какие действия они выполняют на сервере. The performance of other workloads depends greatly on what they are doing on your server. Необходимо определить, каким образом дедупликация данных повлияла на вашу рабочую нагрузку и допустимо ли такое влияние для этой нагрузки. You must determine what performance impacts Data Deduplication has on your workload, and if this is acceptable for this workload.

Каковы требования к размеру тома для дедуплицированных томов? What are the volume sizing requirements for deduplicated volumes? В Windows Server 2012 и Windows Server 2012 R2 размер тома следует выбирать осторожно, чтобы дедупликация данных выполнялась в соответствии со скоростью обновления данных в томе. In Windows Server 2012 and Windows Server 2012 R2, volumes had to be carefully sized to ensure that Data Deduplication could keep up with the churn on the volume. В большинстве случаев максимальный размер дедуплицированного тома для рабочей нагрузки с высокой скоростью обновления данных составляет 1–2 ТБ. Мы рекомендуем в любом случае не превышать размер 10 ТБ. This typically meant that the average maximum size of a deduplicated volume for a high-churn workload was 1-2 TB, and the absolute maximum recommended size was 10 TB. Эти ограничения устранены в Windows Server 2016. In Windows Server 2016, these limitations were removed. Дополнительные сведения см. в статье Новые возможности функции дедупликации данных. For more information, see What’s new in Data Deduplication.

Нужно ли изменять расписание или другие параметры дедупликации данных для рекомендуемых рабочих нагрузок? Do I need to modify the schedule or other Data Deduplication settings for recommended workloads? Нет, предоставленные типы использования были созданы для предоставления разумных значений по умолчанию для рекомендуемых рабочих нагрузок. No, the provided Usage Types were created to provide reasonable defaults for recommended workloads.

Каковы требования к памяти для дедупликации данных? What are the memory requirements for Data Deduplication? При дедупликации данных следует выделить по меньшей мере 300 МБ, а также дополнительно 50 МБ на каждый терабайт логических данных. At a minimum, Data Deduplication should have 300 MB + 50 MB for each TB of logical data. Например, если вы оптимизируете том размером 10 ТБ, для дедупликации следует выделить не менее 800 МБ памяти ( 300 MB + 50 MB * 10 = 300 MB + 500 MB = 800 MB ). For instance, if you are optimizing a 10 TB volume, you would need a minimum of 800 MB of memory allocated for deduplication ( 300 MB + 50 MB * 10 = 300 MB + 500 MB = 800 MB ). Дедупликация данных может выполняться и с меньшим объемом памяти, но такое ограничение ресурсов замедлит выполнение заданий этой функции. While Data Deduplication can optimize a volume with this low amount of memory, having such constrained resources will slow down Data Deduplication’s jobs.

Лучше всего, если для дедупликации данных будет выделено по 1 ГБ памяти на каждый 1 ТБ логических данных. Optimally, Data Deduplication should have 1 GB of memory for every 1 TB of logical data. Например, если вы оптимизируете том размером 10 ТБ, оптимальный объем памяти для дедупликации составит 10 ГБ ( 1 GB * 10 ). For instance, if you are optimizing a 10 TB volume, you would optimally need 10 GB of memory allocated for Data Deduplication ( 1 GB * 10 ). Такое соотношение обеспечит максимальную производительность для заданий дедупликации данных. This ratio will ensure the maximum performance for Data Deduplication jobs.

Каковы требования к объему хранилища для дедупликации данных? What are the storage requirements for Data Deduplication? В Windows Server 2016 дедупликация данных может поддерживать тома размером до 64 ТБ. In Windows Server 2016, Data Deduplication can support volume sizes up to 64 TB. Дополнительные сведения см. в статье What’s new in Data Deduplication (Новые возможности функции дедупликации данных). For more information, view What’s new in Data Deduplication.

Источник