Умный скрипт удаления дублей

Рады представить вам нашу новую разработку – скрипт интеллектуального удаления дублей ключевых слов. Итак, что делает скрипт:

• простое удаление дублей – из имеющихся полных совпадений строк остается только первая найденная строка
• сложное удаление дублей
• строка разбивается на слова
• слова в строке сортируются по алфавиту
• из ключевиков удаляются предлоги, союзы и местоимения (проработано 113 предлогов, союзов и местоимений, которые Яндекс не учитывает в своей статистике)
• каждое слово приводится к базовой морфологической форме
• удаляются совпадения полученных конструкций – остается только первая найденная строка

Разберем на примере:

Ключевик: у меня сиськи большого размера

После сортировки слов: большого меня размера сиськи у

После удаления предлогов, союзов и местоимений: большого размера сиськи

После приведения слов к базовым формам: большой размер сиська

Под дубли попадут ключевики:

большие размеры сисек
большой размер сисек
размер больших сисек
у моих сисек большой размер

и так далее.

Попробуйте ввести в Яндекс.WordStat любую из этих конструкций – вы получите совершенно одинаковый результат! Так зачем работать больше? ;)

Скрипт рассчитан на работу в Windows и полностью самодостаточен – в комплекте идет развернутый и настроенный дистрибутив PHP, позволяющий обойтись без установленного веб-сервера и интерпретатора. При желании, скрипт можно использовать и на linux-системах – для этого нужно установить права 777 на папку со скриптом и запускать файл index.php в браузере или по крону.

Для работы скрипта необходимо в папку с ним положить файл с ключевиками, которые нужно обработать (имя файла должно быть строго keys.txt), и запустить файл go.bat. Кодировка файла с ключевиками должна быть UTF-8, иначе скрипт не отработает. Результатом работы скрипта будут два файла – result.txt (файл с очищенной от дублей базой) и doubles.txt (файл с логом удаления дублей). Пример файла doubles.txt:

Оригинал: порно секретарши Дубль: порно секретарш
Оригинал: порно видео памелы андерсон Дубль: памела андерсон порно видео
Оригинал: домашнее порно россия Дубль: домашнее порно россии
Оригинал: порно видео сагаловой Дубль: порно видео сагалова
Оригинал: большие клиторы Дубль: большой клитор
Оригинал: жестокое порно Дубль: порно жестоко
Оригинал: большие клиторы крупным планом Дубль: большой клитор крупным планом
Оригинал: порно северодвинска Дубль: порно северодвинск
Оригинал: скачать большие клиторы Дубль: скачать большой клитор

Стоимость скрипта – 19 WMZ. Купить автоматически можно по этой ссылке.

С уважением, студия AmazingSoftware.