Google и несуществующие страницы

C
На сайте с 07.05.2010
Offline
243
1045

Начиналось все забавно. Googlebot стал проверять несуществующие страницы, типа xxx.php&r=123. Однако когда данный бот стал проверять сотни несуществующих страниц и сервер стал зависать, стало не смешно. Стали появляться страницы типа wqerweiuh - т.е. явно просто перебор букв.

Первая мысль - происки конкурентов...

А теперь еще новинка: warning_this_is_english_domain_to_solve_this_problem_submit_site_in_atoall.php&r=123

Кто сталкивался со зверем? Или как избавиться от генерации несуществующих страниц?

[Удален]
#1

404 ошибка корректно обрабатывается на сайте?

C
На сайте с 07.05.2010
Offline
243
#2

Раньше некорректно было, сейчас все настроено, но googlebot продолжает придумывать страницы. В webmaster он так и пишет - "404 - страница не найдена", но таких страниц становится все больше и больше.

[Удален]
#3

так. а движок какой? может сайт недоступен был во время посещения ботом.

DiAksID
На сайте с 02.08.2008
Offline
236
#4

движок сам может генерить непотребные ссылки в режиме отладки. например, многие сообщения PHP воспринимаются ПСами как ссылки на чёрт знает что. отмените для PHP не только вывод сообщений о ошибках - вообще все сообщения отладчика...

ЗЫ: Гугел так же прекрасно ловит результат javascript и пытается проиндексировать ссылки оттуда. стоит проверить на бардак и js.

show must go on !!!...
alexburzak
На сайте с 28.11.2006
Offline
61
#5

Посмею предположить, что вид атики прямым перебором... При этом доморощенный хакер использует, например браузер который стучит Гугллю... 😡

Лечение - 404 + noindex на самой странице...

Если не помагает начинаешь чистить ручками через WMT.... по пару часов в день..

Если не помагает забиваешь на это. 🍿

URL: Продвижение сайтов, построение сайтов, сопровождение сайтов (http://www.upmaster.co.il/default.aspx?lan=ru) Прежде, чем задать вопрос я всегда пользуюсь поиском и MSDN!
C
На сайте с 07.05.2010
Offline
243
#6
ANDARK:
так. а движок какой? может сайт недоступен был во время посещения ботом.

Siteedit.

стоит проверить на бардак и js

Кстати, да, были подозрения.

Если не помагает забиваешь на это

Если бы. Googlebot не вылазит с сайта, буквально ночует.

А по-поводу "warning_this_is_english_domain_to_solve_this_problem_submit_site_in_atoall.php" нет соображений? Пытался читать англоязычные форумы, так и не понял. То ли кто-то стучит Google, то ли Google стучит на кого-то.

[Удален]
#7
ctit:
А по-поводу "warning_this_is_english_domain_to_solve_this_problem_submit_site_in_atoall.php" нет соображений?

какая-то непонятка честно говоря, для интереса ввел в Гугл "warning_this_is_english_domain_to_solve_this_problem". выдача меня просто удивила!

вся выдача в спаме. это какой-то новый спам чтоли. В общем это дрянь от atoall . com .

а пользуется этим из-за неверно настроенной 404 ошибки на сервере. Страница то может выдаваться с этой ошибкой, а сервер отвечает кодом 200.

alexburzak
На сайте с 28.11.2006
Offline
61
#8
ctit:
...

Если бы. Googlebot не вылазит с сайта, буквально ночует.
...

WMT уменьшь скорость сканирования, обычно работает...

По поводу текста ХЕЗ. Сори.

DiAksID
На сайте с 02.08.2008
Offline
236
#9
ctit:
... А по-поводу "warning_this_is_english_domain_to_solve_this_problem_submit_site_in_atoall.php" нет соображений? Пытался читать англоязычные форумы, так и не понял. То ли кто-то стучит Google, то ли Google стучит на кого-то.

да какой то системный варнинг со ссылкой на свой хелпер или есчо что. может php, может апач или что там у Вас стоит. движок родил кривую "ссылку" на что апач ответил страницей с ещё более кривой "ссылкой" в обход всяким там 404 редиректам - ошибка же.

PS: Вы что, никогда от ПСы не получали обидки на страницу типа "function_not_found_....." по 404 коду возврата? 😂

C
На сайте с 07.05.2010
Offline
243
#10

Ок, понял. Будем разбираться.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий