robots txt

2

simpleseo

21 мая 2009, 15:37

709

наблюдаю следующую картину: заходит обычный яндекс бот и запрашивает robots.txt потом через минуту заходит яндексблог бот и запрашивает страницу /feed - такое наблюдаю на 15-и дорвеях и некоторых сайтах на ВП - и продолжается это сегодня целый день с переодичностью где то в час, т.е. каждый час он обходит все сайты и запрашивает robots.txt и /feed. Это так всегда? У меня просто до этого детальной статистики не было а щас сделал

28

Great01

21 мая 2009, 16:05

#1

значит бот принял ваш дор за блог на вп =) у меня на белых сайтах боты такие просто живут =)

мне абсюлтно наплевать на цифры в репутации, прямо побеать, я уже писал топик о том что репутация у всех накручена и ставится непонятно за что и понижается за мелкие промахи либо конкурентами

S

2

simpleseo

21 мая 2009, 16:34

#2

спасибо, я думал это у меня что-то не так с кодом или еще с чем то) Просто только эти страницы запрашивает постоянно, а по дорам не гуляет, ладно подождем)

simpleseo добавил 21.05.2009 в 21:36

добавил файл robots.txt вот с таким содержанием:

User-agent: *

Disallow:

сразу пошел по страницам гулять, не знаю может совпадение...

Гугл индексирует плагины вордпресса. Выпал сайт, статистика - Правильно ли составил robots.txt?

92

Claremont

22 мая 2009, 08:45

#3

Чем вы получаете такую подробную статистику?

Время - это капитал работника умственного труда. (с) Оноре Бальзак

E2

138

exe2

22 мая 2009, 08:51

#4

Claremont:
Чем вы получаете такую подробную статистику?

логи хоста посмотрите

И думаете это кто-то остановит? Да ну нафиг! Кто позволит перекрыть такой серьезный трафик??

188

BLACK_DANTE

22 мая 2009, 08:53

#5

simpleseo:
сразу пошел по страницам гулять, не знаю может совпадение...

Не совпадение... :)

Будьте людьми.

S

2

simpleseo

22 мая 2009, 16:05

#6

Claremont:
Чем вы получаете такую подробную статистику?

к дору статистику прикрутил, там скрипт в 15 строк всего

Переиграть и победить: как анализировать конкурентов для продвижения сайта

В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов