Чистка ключей

а если файлик в 2 гига. и оперативки не хватает целиком загрузить? :)

---------- Добавлено 28.12.2012 в 06:50 ----------

ну,же. найди ответ.

ты ведь сеошник, ты ведь умеешь гуглить. :)

Я видимо плохо описал задачу. Ещё раз. Cоставляю семантическое ядро. По ключу есть выборка из базы пастухова, txt на 200к ключей, вида:

корова

корова ест траву

корова ест траву на лугу

корова пьёт молоко

на луне пасётся корова

Проблема:

Зачем создавать три отдельных страницы под ключи:

корова

корова ест траву

корова ест траву на лугу

Задача:

Очистить файл, что бы осталось только:

корова ест траву на лугу

корова пьёт молоко

на луне пасётся корова

Задача не разовая и не по конкретному ключу и объёмы в миллионы ключей.

Спасибо за совет, но хуманэмулятор немного перебор.

На php у меня получилось, что чем больше список тем дольше проверка. 5к проверяет за 5 сек, 100к будет проверять около часа и т.д. плюс проблемы с памятью начнутся. А хотелось бы объёмы больше и быстрее обрабатывать.

Если вас не устраивает по кол-ву слов в ключе, то вообще то в kwk можно узкаывать кол-вл слов в ключе при создании выборки

Да нет же, при чём тут количество слов. Ключ "корова ест траву" содержит в себе ключ "корова". Зачем продвигать эти два ключа на разных страницах? Нужно продвигать страницу по ключу "корова ест траву", она продвинется и по ключу "корова ест траву" и по ключу "корова". С этой целью и нужно почистить список ключей.

Не знаю как ещё доходчивее объяснить. Это же очевидная необходимость.

пятнистая корова есть траву

рыжая корова ест траву

но в данном случае нужный запрос - корова ест траву

и как вы собираетесь чистить?

имхо только руками, это все равно что поэмы генерить компьютером

Почему же нужный запрос "корова ест траву" ?

xerox драйвера для принтера

canon драйвера для принтера

Очевидно разные запросы.

xerox драйвера для принтера

xerox драйвера для принтера 2012

Очевидно можно продвигать на одной странице.

Конечно есть смысл в вашем замечание, но в данном случае это крайность между не чистить ключи от дублей вообще (что по идее должно занимать несколько секунд у программы) и чистить их руками (что займёт многие часы работы человека).

Я прямо потерялся с вас. Вы дор продвигаете? Хм... однако у каждого свои методы работы.

У меня свой метод избавляться от таких ключиков, может и вам подойдет.

Я делаю так, чекаю Словоебом на частотность, в основном отваливаются такие ключи как вы пишете. С наличием прокси и нескольких дедиков, даже овер 200к кеев не вот уж как долго чекаются.

Тс может MorfoDubl подойдет /ru/forum/719663

ТС может MorfoDubl подойдет /ru/forum/719663 программа вроде для этого и предназначена

разбей ключи по алфовиту

можно ещё по кол. слов

ps если всё дело обьёме

---------- Добавлено 29.12.2012 в 01:07 ----------

решение в студию, балабол :)