- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
есть сайт, ему не более 2 недель. на сайт ежедневно ходит робот Яндекса и вызывает непонятные мне страницы
83.222.5.171 - - [27/Jan/2009:15:59:38 +0200] "GET /cool.php/test907437940.html HTTP/1.0" 404 - "-" "Yandex/1.01.001 (compatible; Win16; I)"
83.222.5.171 - - [27/Jan/2009:15:59:40 +0200] "GET /cool.php?link_page=907437940 HTTP/1.0" 404 - "-" "Yandex/1.01.001 (compatible; Win16; I)"
83.222.5.171 - - [28/Jan/2009:20:25:41 +0200] "GET /cool.php/test480335620.html HTTP/1.0" 404 - "-" "Yandex/1.01.001 (compatible; Win16; I)"
83.222.5.171 - - [28/Jan/2009:20:25:44 +0200] "GET /cool.php?post480335620html HTTP/1.0" 404 - "-" "Yandex/1.01.001 (compatible; Win16; I)
и так каждый день
ни одной страницы сайта не скушал лишь проверяет выше указанные страницы
может кто нибудь в курсе происходящего?
kurazh добавил 01.02.2009 в 22:09
что никто не знает?
Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
Вы бы сказали на чем сайт стоит, или показали, а то так трудно что то сказать...
Можно robots.txt файл посмотреть, может там что то...
Просто так Яша не стал бы эти страницы дергать:)
Если робот дергает странички, значит они есть в базе. А находит он урлы по ссылкам. Следовательно на эти страницы где-то стоят (или стояли) ссылки. Либо на вашем сайте, либо не на вашем. Другого не дано. Ищите.
ну вы хоть если не даете на рассмотрение сайт, то проверьте, что за странички..
может от индексации их закрыть, чтоли..
ну вы хоть если не даете на рассмотрение сайт, то проверьте, что за странички..
может от индексации их закрыть, чтоли..
Так этих страниц сейчас как я понял и вовсе нет и небыло.
Домен новый? Раньше на нем ни чего не стояло?
В кэше этих страниц нет?
где то кривые урлы стоят старые бэки от предидущего хозяина домена!
Либо хостер ссылается на закрытые страницы!