у гугл ботов снесло крышу

AboutSEO
На сайте с 18.01.2007
Offline
154
821

решил я тут глянуть на error логи апачей, а то странно большие и немного офигел, боты перебирают урлы по шаблону и подставляют вообще невесть что.

на тех сайтах у меня, где урлы типа 1_2.html и 4_1_3.html они тупо перебирают схожие варианты.

но есть и более прикольные, такие как newsList.asp, newscontent.asp, toadmin.asp, swf, menu8.html в различных вариациях с цифрами и т.д.

в error агента не пишу, поэтому только предположения что боты, т.к. IP гугловские 66.249.72.хх , 66.249.66.хх , 66.249.73.хх и только эти подсети перебирают(глобально не проверял, но в основном эти).

им что работы не хватает? :bl:

[Удален]
#1

скорость брута тестируют )))))

Artisan
На сайте с 04.03.2005
Offline
353
#2
AboutSEO:
решил я тут глянуть на error логи апачей, а то странно большие и немного офигел, боты перебирают урлы по шаблону и подставляют вообще невесть что.

на тех сайтах у меня, где урлы типа 1_2.html и 4_1_3.html они тупо перебирают схожие варианты.
но есть и более прикольные, такие как newsList.asp, newscontent.asp, toadmin.asp, swf, menu8.html в различных вариациях с цифрами и т.д.

в error агента не пишу, поэтому только предположения что боты, т.к. IP гугловские 66.249.72.хх , 66.249.66.хх , 66.249.73.хх и только эти подсети перебирают(глобально не проверял, но в основном эти).

им что работы не хватает? 😂

Это проверка сайта на

механическое наполнение.

Если сайт отдаст с таких проверочных

адресов страницы с разным содержанием,

то робот поймет, что сайт механический.

Если сайт отдаст страницы с

похожим содержанием, то робот

склеит похожие страницы.

www.leak.info / ДАРОМ линки конкурентов и забытых доменов
AboutSEO
На сайте с 18.01.2007
Offline
154
#3
Artisan:
Это проверка сайта на
механическое наполнение.

Если сайт отдаст с таких проверочных
адресов страницы с разным содержанием,
то робот поймет, что сайт механический.

Если сайт отдаст страницы с
похожим содержанием, то робот
склеит похожие страницы.

только тут один нюанс - это статика и сайты не обновлялись с 2007года.

по вашему, боты ищут(перебором) новые похожие страницы для того, что бы склеить??😂

да и нафига делать по 70-100 запросов-переборов в день, если у сайта всего 300-400 страниц?

Proofer
На сайте с 04.11.2011
Offline
291
#4

AboutSEO, может проспамили сайт или отправили на пинг левые страницы? Теоретические конкурент мог сгенерировать левые адреса и отправить их в аддурилку или твиттером прогнать и вот теперь бот заходит по ним.

Artisan
На сайте с 04.03.2005
Offline
353
#5
AboutSEO:
по вашему, боты ищут(перебором) новые
похожие страницы для того, что бы склеить??😂

С механическим содержанием,

чтобы убрать сайт из поиска.

[Удален]
#6
Artisan:
С механическим содержанием,
чтобы убрать сайт из поиска.

можно поподробнее? а лучше ссыль на почитать. Заранее признателен

Vladimir
На сайте с 07.06.2004
Offline
531
#7
Proofer:
AboutSEO, может проспамили сайт или отправили на пинг левые страницы? Теоретические конкурент мог сгенерировать левые адреса и отправить их в аддурилку или твиттером прогнать и вот теперь бот заходит по ним.

Генерируют дорвейные сайты, и с них левые адреса, в прошлом году масса таких ссылок было.

28-1марта...с десяток таких сайтов "умерло" благополучно, резкий спад бэклинков ( ~10к)

В вебмастере Гугла, можно посмотреть страницы с ошибками, там видно откуда ноги растут у подобных error

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
AboutSEO
На сайте с 18.01.2007
Offline
154
#8
Nadejda:
Генерируют дорвейные сайты, и с них левые адреса, в прошлом году масса таких ссылок было.
28-1марта...с десяток таких сайтов "умерло" благополучно, резкий спад бэклинков ( ~10к)
В вебмастере Гугла, можно посмотреть страницы с ошибками, там видно откуда ноги растут у подобных error

спасибо, сам чето про гугл вебмастер сразу не сообразил.

и кстати кусок лога смотрел именно за лето прошлого года...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий