По делу: тоже пришло письмо с причиной "Несоответствие лицензии на использование поисковой системы Яндекса". Сайт отсутствовал в поиске Яндекса с августа, за неуникальный контент, но реклама РСЯ стояла после этого 4 месяца, а сейчас пришло такое письмо.
O_K: Задался целью обработать все запросы? или выбираешь род деятельности? :)
Вот попробуй это: https://ad.rambler.ru/swrds/ может поможет :)
нет мне не нужны все запросы, мне нужны все запросы отдельной тематики. Собирать так как собираю я надо две недели. Но мне нужны все слова, поэтому приходится. Род деятельности выбран, и я не дорвейщик. Где парсить я знаю, читай выше - на парсинг есть ограничения.
Мишган: Auto, софт есть. А какие конкретно ограничения по парсингу? Некогда было вычислять....
Если парсить ключевое слово не заходя слишком глубоко, то рамблер даёт где-то 10-15 страниц в сутки, но чем глубже тем меньше, на 100-ой странице не больше 5. Ограничения снимаются после полуночи (0 часов 0 минут).
Лучше парсить залогинившись, т.к. не залогинившемуся отдаются не больше 2-х страниц. Этим логином лучше ползоваться под одним и тем же ip, т.к. если воспользуешься другим ip, то ограничения перенесутся и на этот ip. Т.е. сменив ip, но не сменив логин больше не напарсишь.
Новою станицу ключевых слов лучше открывать с задержкой не меньше минуты, иначе меньше отдаст страниц. А лучше вообще через 2-3 минуты обращаться.
Вроде ключевые слова сейчас не кодируют с помощью java-скриптов, так как это делал год назад.
По-мойму идеальная схема парсинга такова: нужны прокси, нужно зарегестрировать для каждой отдельной прокси отдельный логин. Парсить каждой связкой прокси-логин ключевые слова с задержкой в 3 минуты. После полуночи можно воспользоваться заново старой связкой прокси-логин. Схема тяжёлая. Мне проще руками пока собирать, соглашусь что доисторически, но ничего не поделаешь...
Fallout_27: В течение месяца на сайт плавно добавлялись новые статьи (уникальные, естессно), за это время (с момента получения письма-отписки) размер информационной базы увеличился в 4 раза. Страницы бот-индексатор скушал, ходит на сайт он достаточно часто. Результата - ноль.
Аналогичные действия ни к чему не привели. Яндекс - гавнопоиск!
Соглашусь с danger4k, скорее всего исключают из-за отсутствия трафика с Яндекса.
P.S. И еще не забывайте, что мы не зарабатываем деньги, а Яндекс раздаёт нам их :-)
/ru/news/4328
это уже интересно...
какой направленности сайт ?
сайт компании или информационный ?
сайт кредиты, информационный
XTR - понтушка. Бесят его посты.
По делу: тоже пришло письмо с причиной "Несоответствие лицензии на использование поисковой системы Яндекса". Сайт отсутствовал в поиске Яндекса с августа, за неуникальный контент, но реклама РСЯ стояла после этого 4 месяца, а сейчас пришло такое письмо.
Вот материнская плата:
http://epox.ru/products/mb/ep-4pda3i-3/
Задался целью обработать все запросы? или выбираешь род деятельности? :)
Вот попробуй это: https://ad.rambler.ru/swrds/ может поможет :)
нет мне не нужны все запросы, мне нужны все запросы отдельной тематики. Собирать так как собираю я надо две недели. Но мне нужны все слова, поэтому приходится. Род деятельности выбран, и я не дорвейщик. Где парсить я знаю, читай выше - на парсинг есть ограничения.
Auto, софт есть. А какие конкретно ограничения по парсингу? Некогда было вычислять....
Если парсить ключевое слово не заходя слишком глубоко, то рамблер даёт где-то 10-15 страниц в сутки, но чем глубже тем меньше, на 100-ой странице не больше 5. Ограничения снимаются после полуночи (0 часов 0 минут).
Лучше парсить залогинившись, т.к. не залогинившемуся отдаются не больше 2-х страниц. Этим логином лучше ползоваться под одним и тем же ip, т.к. если воспользуешься другим ip, то ограничения перенесутся и на этот ip. Т.е. сменив ip, но не сменив логин больше не напарсишь.
Новою станицу ключевых слов лучше открывать с задержкой не меньше минуты, иначе меньше отдаст страниц. А лучше вообще через 2-3 минуты обращаться.
Вроде ключевые слова сейчас не кодируют с помощью java-скриптов, так как это делал год назад.
По-мойму идеальная схема парсинга такова: нужны прокси, нужно зарегестрировать для каждой отдельной прокси отдельный логин. Парсить каждой связкой прокси-логин ключевые слова с задержкой в 3 минуты. После полуночи можно воспользоваться заново старой связкой прокси-логин. Схема тяжёлая. Мне проще руками пока собирать, соглашусь что доисторически, но ничего не поделаешь...
Спасибо! Попробую
Наглядный график - вот график для конкретизации
Между прочим, кто знает, что было 17 июня когда яша отдал трафик гуглу, и что было 1 июля когда гугл обратно вернул этот трафик яше?
В течение месяца на сайт плавно добавлялись новые статьи (уникальные, естессно), за это время (с момента получения письма-отписки) размер информационной базы увеличился в 4 раза. Страницы бот-индексатор скушал, ходит на сайт он достаточно часто. Результата - ноль.
Аналогичные действия ни к чему не привели. Яндекс - гавнопоиск!
Люблю я на этот график смотреть. Когда же Гугль догонит тебя янедекс?!
Желаю яндексу падения в квадрате.