- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Ситуация для меня новая, что делать не совсем понимаю. Только что пришло сообщение от яши о том, что в файле роботс отсутствует деректива (хост). Захожу в вебмастер чтобы проверить а там вот такая кракозябра:
User-agent: Googlebot
Disallow: /?*
User-agent: Baiduspider
Disallow: /?*
User-agent: YandexBot
Disallow: /?*
User-agent: ichiro
Disallow: /?*
User-agent: sogou spider
Disallow: /?*
User-agent: Sosospider
Disallow: /?*
User-agent: YoudaoBot
Disallow: /?*
User-agent: YetiBot
Disallow: /?*
User-agent: bingbot
Crawl-delay: 2
Disallow: /?*
User-Agent: Yahoo! Slurp
Crawl-delay: 2
Disallow: /?*
User-agent: rdfbot
Disallow: /?*
User-agent: Seznambot
Request-rate: 1/2s
Disallow: /?*
User-agent: ia_archiver
Disallow:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /
Захожу через файл зилу, там с роботсом все впорядке, но когда начинаю проверку сервера, то там выдает ошибку 400.
Вот сайт, кто подскажет плз kopirajter-ivanov.ru
Есть же тема: /ru/forum/828288
С другой стороны, тут в роботсе пример настолько впечатляющей идиотии, что он явно достоин отдельного топика(((
Только что Платон отписался:
"Наш основной индексирующий робот при посещении Вашего сайта получает Ваш актуальный файл robots.txt и сайт успешно индексируется, не беспокойтесь, пожалуйста.
Тем не менее, другие сервисы Яндекса, например, Яндекс.Вебмастер получает приведенный Вами запрещающий robots.txt, поэтому в Вебмастере появилось данное предупреждение. Возможно, на Вашем сайте установлены настройки, из-за которых посетители с разными IP получают разный файл robots.txt. Чтобы получать актуальную информацию о ходе обработки файла, я рекомендую убедиться, что всем сервисам Яндекса отдается один и тот же корректный файл robots.txt. Для выяснения причин появления проблемы Вы можете обратиться к администратору Вашего сайта или сервера, на котором расположен сайт". Как-то так(
А зачем отдельно все роботы расписаны?
К хостеру обратитесь по поводу вот этого:
Вашем сайте установлены настройки, из-за которых посетители с разными IP получают разный файл robots.txt
может это они намудрили.
Да я вообще в шоке ничего подобного не приписывал. Мой робот, который залит на сайт совершенно другой.