Поиск и удаление одинаковых файлов. Поиск дубликатов файлов с помощью Total Commander Поиск одинаковых папок

Чего только не хранится на жестком диске! Копии и копии копий, созданные на всякий случай, постепенно расходятся по разным папкам, и вот мы уже забываем об их существовании. Если вы решили навести порядок и освободить место, удалив ненужные повторяющиеся файлы, на помощь придут специальные утилиты для Windows (большинство подобных программ бесплатны).

Duplicate Remover Free

Программа имеет достаточно простой интерфейс, но предоставляет немало возможностей. Duplicate Remover Free позволяет искать файлы с одинаковым размером и именем, а также повторяющиеся изображения и копии документов. Можно просканировать на наличие дубликатов целый раздел диска или исключить из поиска отдельные директории (например, каталоги с резервными копиями или системные папки). Также поиск одинаковых звуковых файлов и видеозаписей может производиться по тэгам файлов (что может быть полезно, например, при обновлении домашней фонотеки).

Duplicate File Finder

Программа Duplicate File Finder от компании Auslogics обладает похожей функциональностью. Утилита умеет находить повторяющиеся файлы всех типов. Кроме того, она может искать только копии звуковых файлов, изображений или видеозаписей – таким образом, системные файлы гарантированно останутся в безопасности.

AllDup

AllDup – еще одна программа, которую также нельзя обойти вниманием. Эта мощная бесплатная утилита для Windows позволяет искать повторяющиеся файлы по нескольким параметрам: одинаковое имя, одинаковый размер, повторяющееся время создания и т.д. У предположительно одинаковых файлов программа проверяет контрольные суммы (можно выбрать алгоритм вычисления в настройках), поэтому вероятность удаления разных файлов одного размера нулевая. Также утилита умеет искать похожие изображения в форматах JPG, PNG и т.д. Это может быть полезно при удалении копий из домашнего фотоархива (например, дублей одного и того же снимка – с рамкой и без). AllDup распространяется и в виде классического инсталлятора, и в виде переносной версии, не требующей установки.

DupeGuru

Эту утилиту можно порекомендовать любителям кроссплатформенных решений. Программа выпускается в виде пакетов для Ubuntu и Mac OS X (существует неофициальная версия для Windows 7, которая вполне работоспособна и в более поздних версиях ОС). Пользоваться ей довольно просто: выбираем директорию, в которой ищем копии файлов, и запускаем сканирование. Через некоторое время программа найдет дубликаты файлов, и вы сможете их удалить.

Windows «Очистка диска»

Не забываем и про стандартную программу Windows, которая поможет освободить немного места. Эта утилита не ищет повторяющиеся файлы, но может удалить из системы некоторую устаревшую и ненужную информацию.

1. Чтобы запустить ее, нажимаем комбинацию клавиш Win+R, пишем в поле ввода cleanmgr.exe и кликаем на кнопку ОК.

2. Выбираем диск, который хотим очистить.

3. Отмечаем флажками нужные пункты (практически всегда можно без опаски удалять временные файлы, эскизы, кэш построителя текстуры DirectX) и нажимаем ОК.

4. Через несколько секунд (или пару минут – зависит от производительности компьютера и количества файлов) ненужная информация будет удалена.

В современных версиях Windows можно воспользоваться и другими встроенными средствами системы. Например, можно запустить PowerShell, перейти в нужную вам директорию командой cd и выполнить такой скрипт:

ls *.* -recurse | get-filehash | group -property hash | where { $_.count -gt 1 } | % { $_.group | select -skip 1 } | ls

Через некоторое время после начала работы PowerShell выведет на экран список файлов одинакового размера. Если заменить последнюю команду ls на del, то файлы будут сразу удалены (но лучше просмотреть список и удалить все ненужное вручную, чтобы случайно не уничтожить полезную информацию).

Однако хочется напомнить – собственноручно удалять дублирующиеся файлы из системных директорий диска C (Program Files, Program Files (x86), Windows и т.п.) крайне нежелательно. Результатом подобной «очистки» диска может стать неработоспособность операционной системы. То же касается удаления файлов из каталогов /etc, /bin, /usr в UNIX-подобных системах. Особую осторожность следует проявлять при удалении файлов с использованием прав администратора (или root’а). И, конечно, не стоит забывать про бэкапы – небольшая вероятность случайного удаления нужной информации существует всегда, поэтому лучше подстраховаться.

Проведение эффективной генеральной уборки на дисковом пространстве компьютера, наряду с использованием программ для автоматической очистки Windows, требует еще выполнения ручной работы по удалению ненужных файлов и файлов-дубликатов. Для отслеживания ненужных файлов предназначены специальные программы – анализаторы дискового пространства, они помогают отфильтровать содержимое дисков компьютера по определенным критериям (в частности, по весу), чтобы пользователь мог принять решение об удалении файлов или их оставлении. Для поиска дубликатов файлов также существует специальный софт – либо в виде отдельных программ или небольших утилит, либо в составе комплексного ПО для чистки и оптимизации Windows. Ниже рассмотрим пятерку программ для поиска дубликатов файлов. В пятерку вошли полностью бесплатные программы с поддержкой русского языка.

При проведении поиска дубликатов файлов на системном диске С лучше указывать не весь раздел целиком, а лишь отдельные папки, где хранятся пользовательские файлы. Дубликаты, обнаруженные в рабочих папках Windows, удалять нельзя. При обнаружении на диске С отдельных увесистых папок или файлов с незнакомыми названиями рекомендуется получить о них справку в Интернете.

1. AllDup

Программа AllDup оснащена множеством различных опций для тонкой настройки поиска дубликатов файлов. В числе настраиваемых опций – выбор метода сравнения, критериев поиска, приоритета проверки дубликатов, задействование исключающих фильтров, включение содержимого архивных файлов и пр. Предусматривается даже смена тем оформления и отдельных настроек интерфейса. Программа хорошая, правда, с несколько непродуманным интерфейсом. На ее панели инструментов все вкладки – хоть основных операций, хоть дополнительных функций – значатся как равнозначные. И чтобы помочь пользователю, впервые запустившему AllDup, освоить специфику программы, ее создатели оснастили интерфейс плавающим виджетом в виде краткого руководства, какой шаг за каким нужно сделать. Во вкладке «Исходные папки» указывается область поиска – разделы диска, подсоединяемые устройства или отдельные пользовательские папки на системном диске С.

Далее во вкладке «Метод поиска» устанавливаются критерии поиска. Здесь поиск дубликатов можно конкретизировать и к предустановленному критерию поиска по именам файлов добавить расширение, размер, содержимое и пр.

Результаты поиска дубликатов можно сортировать по размеру, пути, дате изменения файлов и т.п. Обнаруженные файлы можно удалять, открывать их расположение в проводнике Windows, применять прочие действия, предусматриваемые программой.

Чтобы вернуться к анализу результатов поиска дубликатов, выполненных AllDup, позднее, но не ждать завершения сканирования, текущие результаты можно сохранить в файл формата программы или экспортировать в файлы TXT и CSV.

У программы AllDup есть портативная версия, не требующая установки в систему.

2. Duplicate Cleaner

Еще одна функциональная программа для гибко настраиваемого поиска дубликатов файлов – Duplicate Cleaner. Программа Duplicate Cleaner существует в двух редакциях – в платной Pro и бесплатной Free. Хоть последняя и ограничена недоступностью некоторых функций, ее возможностей будет достаточно для эффективного поиска дубликатов. Duplicate Cleaner Free позволяет задавать критерии поиска по именам, содержанию, размеру, дате создания файлов. Предусматриваются дополнительные критерии поиска по данным аудиофайлов, а также фильтрация по типам контента и расширениям файлов. Все эти моменты настраиваются в первой вкладке программы «Критерии поиска».

Во второй вкладке программы – «Сканировать путь» – выбирается область поиска.

В окне результатов поиска дубликаты можно сортировать, удалять, открывать их расположение в проводнике, а также применять к ним прочие опции программы.

Результаты поиска Duplicate Cleaner могут быть экспортированы в файл формата табличных данных CSV. Экспорт данных осуществляется как для всего перечня дубликатов, так и для только помеченных пользователем файлов. Из преимуществ Duplicate Cleaner – удобный интерфейс и продуманная организация.

3. DupeGuru

DupeGuru – это простейший поисковик дубликатов файлов для тех, у кого нет времени или желания осваивать все тонкости функциональных узкоспециализированных программ типа рассмотренных выше. Внизу небольшого окошка программы выбирается область поиска и запускается сканирование.

Результаты поиска дубликатов могут быть отсортированы по пути размещения и размеру файлов. Контекстное меню результатов поиска DupeGuru содержит лишь необходимые для работы с найденными дубликатами операции.

Результаты поиска сохраняются в файл программы или экспортируются в HTML.

DupeGuru – кроссплатформенная программа, но под Windows адаптированы только ее старые версии. Предлагаемый на официальном сайте инсталлятор программы для Windows 7 подойдет также для версий системы 8.1 и 10.

4. CCleaner

На одном из этапов своего совершенствования популярнейший чистильщик для Windows CCleaner получил функцию поиска дубликатов файлов. Воспользоваться этой функцией можно в разделе «Сервис». Для поиска дубликатов доступны критерии поиска по именам, дате создания, содержимому файлов, их размеру.

Как и предыдущий участник обзора, программа CCleaner в среде результатов поиска дубликатов не особо богата функционалом, но базовые операции присутствуют. Это, в частности, сортировка результатов поиска и удаление файлов.

5. Glary Utilities 5

Комплексная программа для чистки и оптимизации Windows Glary Utilities 5 в числе арсенала содержит утилиту для поиска дубликатов файлов. Эту же утилиту при желании с официального сайта программы можно скачать отдельно, если не требуется всей мощи программного пакета.

Поисковик дубликатов в составе Glary Utilities 5 простенький, но удобный и настраиваемый. Сканирование дубликатов можно запустить сразу, выбрав лишь область поиска – разделы диска, съемные устройства или отдельные папки. А можно конкретизировать поиск, нажав кнопку «Опции».

В опциях настраиваются критерии поиска дубликатов – по именам, по размеру, по времени создания файлов. В отдельных случаях проведения тщательной чистки дискового пространства можно сменить предустановленный выбор поиска лишь среди распространенных типов файлов на сканирование всех типов.

Результаты поиска предусматривают только необходимые операции для работы с дубликатами, в частности, удаление и открытие пути размещения в проводнике Windows.

Для удобства пользователя найденные дубликаты Glary Utilities 5 каталогизирует по типам контента – документам, картинкам, видео, программам и т.п. По каждому типу отображается общий вес найденных файлов.

После долгого, постоянного пользования компьютером, на его дисках, как ни крути, накапливаются большие объёмы данных, т. е. всякие фотографии, видео, фильмы, музыка, документы и прочее. Когда данные занимают много места - это нормально, к примеру, у меня самого нужных данных более чем на 600 Гб, а в кого-то ещё больше. Но очень часто слишком много места занимают дубликаты файлов.

Такие файлы могут появляться, когда вы, к примеру, переносите их откуда-то в новое место на диске, забывая, что у вас уже такие файлы на этом диске имеются. И ладно если навалом дубликатов всяких документов, но когда много дубликатов фоток, музыки и особенно видео, то это, как правило, отнимет у вас прилично места на диске. Недавно проверял и обнаружил, что дубликаты съедают у меня порядка 100 Гб. на жёстком диске, что, на мой взгляд, весьма много:)

В данной статье я покажу вам простой способ найти все дубликаты файлов в Windows на ваших дисках, чтобы вы могли легко проверить их и быстренько удалить всё ненужное.

В Windows, к сожалению, нет нормальных встроенных средств для поиска дубликатов файлов. Есть вариант сделать это через командную строку PowerShell, но это очень неудобно, тем более для новичков будет сложновато. Поэтому проще воспользоваться сторонними программами. Одна из таких называется AllDup. Она полностью бесплатная, доступна на русском языке, поддерживается всеми операционными системами Windows и, наконец, довольно проста в использовании.

Загрузка и установка программы AllDup

Программу можно загрузить бесплатно с официального сайта AllDup. Ниже ссылка на раздел загрузки:

Программа доступна в двух вариантах: обычном установочном и портативном (Portable). Портативный отличается тем, что не требует установки на компьютер, т. е. программу можно будет запускать прямо из скачанной папки.

Для скачивания нажмите кнопку «Server #1», либо «Server #2» или «Server #3» (если по первой кнопке скачивания не происходит, даны запасные серверы) под нужной версией программы.

Прямые ссылки на скачивание последней на сегодняшний день версии (март 2017) AllDup: стандартная версия , портативная версия . За свежими версиями всегда обращайтесь к официальному сайту AllDup!

Установка программы очень проста, можно сказать, состоит из последовательных нажатий «Далее», никаких специальных настроек производить не нужно. Поэтому данный процесс я рассматривать не буду.

Подробнее о нюансах установки программ для Windows рассказано

Поиск дубликатов при помощи AllDup

После того как установите программу, запустите её. Откроется главное окно для настроек поиска:

Настройка поиска включает в себя несколько этапов:

Это все основные этапы настройки поиска, остальные можно не задействовать.

Теперь, для запуска поиска дубликатов, нажмите кнопку «Поиск» вверху окна AllDup:

Начнётся процесс поиска.

Чем больше файлов в указанных вами папках находится на ваших дисках, тем дольше будет идти поиск.

После того как поиск будет завершён, программа в виде таблицы отобразит найденные файлы с дубликатами.

Первое, что лучше сделать сразу - сохранить результаты поиска, потому что если вы сейчас закроете это окно с результатами, то потом поиск придётся выполнять заново. Для сохранения нажмите кнопку с изображением дискеты, либо выберите в верхнем меню «Результат поиска» и нажмите «Сохранить результат поиска».

Теперь, даже если вы выключите компьютер, запустив потом программу снова, вы сможете вновь добраться до результатов поиска.

Результаты поиска вы можете отсортировать по разным параметрам, кликая по заголовкам столбцом в таблице. Наиболее полезный, на мой взгляд, критерий для сортировки - размер файлов. Поэтому, если хотите чтобы вверху таблицы отображались самые большие найденные файлы, то кликните по столбцу «Размер (Байт)».

Следующее, что лучше настроить для удобства просмотра результатов - отображаемый размер. Изначально размер файлов программа показывает в байтах, что не очень удобно. Лучше выставить отображение в мегабайтах или даже гигабайтах. Для этого нажмите кнопку, отмеченную на скриншоте ниже (1), после чего отметьте один из вариантов (2):

Теперь остановлюсь на том, как, собственно, пользоваться результатами поиска, как посмотреть и удалить ненужные дубликаты…

Найденные дубликаты программа делит на так называемые группы. Одна группа - это все найденные копии одного и того же файла, включая оригинал (он тоже будет отображаться в этой группе).

Чтобы посмотреть дубликаты одной из групп, нужно её открыть, кликнув по стрелочке. Пример:

Раскрыв определённую группу, вы можете проверить, что это за файл, открыв его. Для этого просто дважды кликните по файлу в группе либо нажмите ПКМ и выберите «Открыть файл». Файл будет открыт через стандартную программу Windows, через которую у вас обычно открываются все файлы выбранного типа.

Чтобы удалить дубликаты, отметьте их галочкой, щёлкните ПКМ и выберите один из вариантов: удаление файла в корзину Windows либо безвозвратное удаление.

Соответственно, не удаляйте все файлы из группы, потому что так вы удалите и дубликаты и оригинал сразу! Например, если в группе 3 файла, то удалив сразу 3, вы удалите и оригинал и 2 дубликата. В этом случае, чтобы сохранить только единственную копию файла, вам нужно удалить 2 файла из группы.

Таким образом, вы можете проверять отдельно каждую группу и удалять дубликаты. Но если информации найдено очень много, можно сделать проще. Сделать так, чтобы программа автоматически выбрала в каждой группе все файлы, кроме одного (т. е. только дубликаты), после чего вы можете разом избавиться от всех дубликатов или перед этим пробежаться и перепроверить, точно ли всё отмеченное подлежит удалению.

Чтобы автоматически отметить дубликаты, зайдите в меню «Выбор» (1) и отметьте включите там один из вариантов (2), например, «Выбрать все файлы, за исключением первого файла».

В результате программа в каждой группе выделит 2 дубликата, а первый в списке файл оставит не выбранным. То есть, таким образом, вы отметите 2 дубликата, а оригинал останется не отмеченным. Или же можете через меню «Выбор» попробовать другие опции, удобные вам.

После того как программа отметила файлы, вы можете перепроверить выбор, если требуется. А чтобы быстро всё ненужное удалить или выполнить какое-то другое действие, нажмите кнопку, отмеченную на скриншоте ниже:

В открывшемся окне вы увидите общий объём выбранных файлов, т. е. сколько места занимают найденные дубликаты и количество выбранных файлов. Внизу вам нужно выбрать действие над выбранными файлами. Вы можете удалить файлы через корзину, удалить безвозвратно (пункт «Удаление файлов»), скопировать или переместить файлы в какую-либо папку, а также переименовать найденные дубликаты. Если вы уверены в том, что отмеченные файлы являются дубликатами и больше вам не нужны, то проще их удалить, но в любом случае выбор за вами.

Итак, выберите нужное действие (1) и нажмите «ОК» (2). Больше здесь можно ничего не настраивать.

После этого программа произведёт выбранное вами действие над отмеченными ранее файлами!

Вот и весь процесс:) Чтобы выйти из результатов поиска просто закройте это окно. Если вы сохранили результаты поиска, то затем, если вам снова потребуется этот результат, вы можете добраться до него через раздел «Результат поиска» (1) в главном окне программы. Сохранённые вами результаты будут отображены в таблице (2). Чтобы открыть нужный результат просто кликните по нему дважды.

Заключение

AllDup – очень удобная программа для поиска дубликатов ваших файлов на компьютере. В программе нет, по сути, ничего лишнего, в ней есть все нужные инструменты, фильтры и параметры для быстрой обработки большого объёма найденных дубликатов. Конечно, есть и аналогичные программы, которые наверняка тоже хорошо справляются со своей задачей. Я пробовал пока что только AllDup и менять её пока не вижу никакого смысла.

Современный винчестер создается с внушительным объемом свободного места для хранения информации. Однако это не означает, что нет необходимости «заботиться» о диске, освобождая его от мусора, дублированных файлов.

Наличие файлов-дубликатов засоряет диск лишними записями информации. Когда придет время увеличивать свободное пространство «замусоренных» дисков, на обнаружение дубликатов будет потрачено значительное время - ведь объем вашего винчестера очень велик. Поэтому нахождение и удаление файлов-дубликатов нужно производить вовремя. Рассмотрим ряд приложений, умеющих искать такие файлы-дубликаты.

Total Commander

Первым приложением рассмотрим популярный Total Commander. Его функциональные возможности широки, он также предоставляет инструмент для поиска файлов-дублей, расположенных в разных директориях вашего винчестера. Необходимая нам операция доступна в общем поисковом модуле.

Вызов поискового модуля осуществляется с помощью горячих клавиш или посредством традиционного перехода в главное меню, где понадобится выбрать функцию «Поиск файлов». Вызов посредством горячих клавиш делается путем одновременного нажатия комбинации «Alt+F7».

Поисковый модуль предлагает целый ряд вкладок общих и продвинутых функций. Однако первоначально нам понадобится отобрать диск или директорию, в которой необходимо вести обнаружение. Это делается на вкладке общих параметров. Затем, перейдем на вкладку «Дополнительно».

В поисковом модуле откроем «Диски» и выберем диск «D».

Перейдем на вкладку «Дополнительно».

В нижней части выбранного раздела расположена функция нахождения файлов-дубликатов. Нам нужно лишь настроить эту функцию, установив требуемые флажки напротив нужных опций. Например, так как показано на изображении ниже. В нашем случае поисковые действия происходят на томе D.

Найденные искомые дубликаты Total Commander располагает в маленьком окошке, в котором едва что можно разглядеть.

Нажав кнопочку «Файлы на панель», отобразим их в главном окне. Теперь, вы сможете свободно удалять их, если уверены, что такое действие не станет причиной нестабильной работы программ и всей системы в целом.

Получаем результат в главном окне.

Ищем дубликаты файлов в CCleaner

С недавних пор обновленный CCleaner также предоставляет функцию поиска дублирующихся файлов. Это приложение - широко известный и популярный «уборщик» мусора на ПК, поэтому присутствие в нем такой опции абсолютно закономерно. Функцию «Поиск дублей» легко найти на вкладке «Сервис» программы.

Обнаружение файлов-дубликатов CCleaner осуществляет по нескольким параметрам: имя, размер, дата, содержимое. Он также предлагает ряд полезных опций, которые позволяют пропустить или добавить к нашей операции ряд особенных файлов: скрытые, системные, только для чтения, нулевого размера. Чтобы запустить поисковый модуль, достаточно нажать кнопочку «Найти».

После выполнения операции пользователь имеет возможность выбрать и удалить обнаруженные дубли.

SizeExplorer Pro

Данное приложение - мощный инструмент исследования томов диска и подключенных дисковых устройств. Одной из его функций является поиск файлов-дубликатов.

Чтобы SizeExplorer смог начать обнаружение дублей, сначала нужно проанализировать раздел, где необходимо осуществлять поиск.

Открывшееся меню предложит вам целый ряд функций, среди которых «Найти дубликаты». Нажатие этой опции позволит открыть диалог с опциями настройки поискового модуля.

Определимся с функциями обнаружения.

Произведем поиск дубликатов файлов по схеме размер-имя-содержимое. На обнаружение потребуется некоторое время, однако после окончания процесса в отдельном окошке мы увидим полный перечень дублей. При этом программа выдала нам множество дублей неполного сходства, по определенному проценту сходства.

Результаты поисков одинаковых файлов:

Так можно выбрать дубликаты:

Воспользуемся Ainvo Duplicate File Finder

В сети Интернет доступна еще одна программа, представляющая интерес для обнаружения дублирующихся файлов. Это Ainvo Duplicate File Finder. Это приложение простое в использовании, так что им сможет воспользоваться даже не очень опытный пользователь компьютерных технологий. Чтобы воспользоваться программой, достаточно нажать мышкой «Поиск одинаковых файлов».

Приложение сразу же начинает поиск, который длится достаточно долго, поэтому придется запастись терпением.

Сначала происходит исследование дисков, затем приложение обрабатывает найденный материал и только после этого происходит дополнительная обработка, результатом которой становится обнаружение файлов-дублей. Чтобы увидеть найденные дубликаты, понадобится открыть окошко «Одинаковые файлы».

Как видим, в настройках выбрано два раздела для осуществления операции.

Мастер Аинво завершил выполнение операции - теперь мы сможем открыть окно с ссылками на дубликаты.

Как видим, дублей много и программа сразу же выделяет повторяющиеся, по ее мнению, файлики.

Выбрано 2137 дубликатов, которые можно удалить с помощью мастера. Также, есть возможность просмотреть отчет о дубликатах.

Отчет открывается в веб-браузере.

Краткий итог

Жесткий диск время от времени нуждается в профилактике. Одной из профилактических процедур является чистка томов от мусора, большую долю которого составляют продублированные файлы. Чтобы обнаружить файлы-дубликаты, размещающиеся в разных директориях, можно воспользоваться специальными программами. Среди наиболее достойных приложений, умеющих обнаруживать дублирующиеся файлы, назовем: Total Commander, CCleaner, SizeExplorer Pro, Ainvo Duplicate File Finder.