- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Сегодня посмотрел логи заходов роботов и обалдел: Яндекс I запросил одну и туже страницу 398 раз подряд. Правда, с разными ид сессий. Статус всегда 200. Зачем он нагенерил столько запросов? Кстати, в базе у него этой страницы нет.
А что за ID сессий? У меня такого нет. phpsessionid что-ли? Поисковики это очень не любят. Наверное проверяли, что содержимое не зависит от этого ID и скоро выкинут нафиг весь сайт за замусоривание поисковой базы и издевательство над Яндексом :D Такая процедура чистки у Яндекса есть.
А что за ID сессий? У меня такого нет. phpsessionid что-ли?
Почти, только явский - jsessionid. По поводу выкинут - уже год сайт в сети, год его яндекс дрючит - не выкинули еще :). Так прикол-то в том, что я специально сделал так, чтобы при заходе яндекса и ему подобных они сессий не видели! Проверял, все работает. Так откуда же яндекс берет урлы с сессиями? Получается, что он их получает, обходя сайты как обычный пользователь...
По юзер-агенту, что ли?
По юзер-агенту, что ли?
Конечно, и логи специальные веду только по роботам всяким.
я специально сделал так, чтобы при заходе яндекса и ему подобных они сессий не видели! Проверял, все работает.
Значит сделано с ошибкой. Что выдается роботу, когда он приходит по странице с ID сессии? Должна выдаваться ошибка 301 с редиректом на URL без ID, либо 404.
С уважением,
Александр Садовский.
Что выдается роботу, когда он приходит по странице с ID сессии?
Выдается 200. А задумывалось вот что: при заходе робота даже с ID сессии все другие внутренние ссылки сессии не содержат. Робот должен собрать их и проиндексировать нормально, без сессий в УРЛ.
Выдается 200.
здрасьте.
прошу прощения за грубость, но RTFM
предыдущий оратор совершенно правильно сказал, что что надо отдавать
Опять поиск не работает :(
А что такое RTFM?
А в robots.txt у меня запрет на индексацию всех страниц, УРЛ которых содержит сессию: Disallow: /имя_проги;jsessionid
Это ведь должно работать!
mixb,
Это сокращение так же как и ИМХО. Значит вот что: читайте мануал (нехорошие слова пропустил)