Кроме логов веб-сервера, есть еще один из способов.
Если имеется, например php, то можно разрешить ему обрабатывать свои скрипты в файлах с расширением .txt при помощи директивы апача AddType application/x-httpd-php .txt, в http.conf
Далее добавляем в robots.txt
Предварительно нужно создать таблицу robots с полями user_agent и date_time в БД.
Либо можно все это писать в текстовый файл, если нет возможности использовать базу данных.
Результат - наглядно видим какие боты шарились на сайте и в какое время.
SELECT * FROM robots WHERE user_agent LIKE '%Yandex%' ORDER BY date_time DESC - смотрим когда сайт навещали боты всеми любимого Яндекса 🚬
А они в строке запроса передаются, после знака "?" ? Если так, то не смогу это проверить, жаль :(
После трехнедельного выпадения, вернулся сайт по определенному запросу, на 8 место в топе. Позиция не изменилась, осталась такая же как и до выпадения.
Вот поэтому я и поднял тему, так как не могу ответить на эти вопросы. Многое не ясно.
Но факт такой: сначала все странички вычистились из индекса (либо стремительно сместились в самый конец серпа, что менее вероятно), потом пришел модератор. Это все отразилось в статистике с точностью до 1 дня. Ну и в настоящее время Результат поиска: страниц — 0. Саппорт на письма пока не отвечает, прошел месяц. Ждемс.
В индексе появились странички от 03.10.2006, и это не база быстроробота.
Так точно. Никто и не говорит, что банит робот-индексатор. Он обходит те страницы, которые ему предписано обойти. Алгоритм работы ПС нам никогда не станет известен, это коммерческая тайна. Но я думаю, трудно отрицать автобан дорвеев, и ведь не важно что было раньше на дорвейном домене, может и белый сайт, который с успехом индексировался, не так ли?
В отстойник серпа она может улететь только после очередного апдейта.
С большой степенью вероятности могу утверждать, что уменьшалось количество проиндексированных страниц, так как уже не первый раз сталкиваюсь с подобным явлением. Но тогда банили по стуку, то есть с непосредственным участием модератора.
На этот счет Вам могут ответить только здесь addurl@yandex-team.ru На технические вопросы, не касающиеся индексирования сайтов, служба поддержки охотно отвечает.
Но какой смысл не закрывать noindex? Вполне возможно, что оставшаяся часть страницы не будет проиндексирована Яндексом и Рамблером. Поэтому, если сайт строится из разрывающихся шаблонов, стоит особенно внимательно смотреть, чтобы не потерять тег </noindex>
Глупости. Такой резкий спад возникает из-за удаления страниц в следствии санкций. Невозможно переиндексировать 30К страниц за несколько дней, и определить, что на них нет контента, и соответственно отранжировать их в выдаче.
Может программами постят? Тогда, как вариант, картинку с кодом.
Мне кажется, это связано с определением контекста у директа. Он же в рамках сайта его определяет. А нетематическая доска объявлений на одном домене, это сборник всего про всё. Поэтому и не принимают их в директ. ИМХО.
