- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Яндекс выполняет директивы только "своей" секции
Не логично, значит все-таки, наличие секции для Яндекса отменяет "для всех" не знал... Что ж, бегу править...
Логично-нелогично, но стандарт есть стандарт. Читаем http://www.robotstxt.org/wc/norobots.html :
User-agent
...
If the value is '*', the record describes the default access policy for any robot that has not matched any of the other records.
wolf, Спасибо большое!
нам ответили что оба варианта верны и надо ждать когда эти сайты отзеркалируются :)
Вот что ответили из Яндекса, по поводу выпадания трех сайтов
из
поиска по каким-то техническим причинам, возможно из-за каких то проблем
на
сервере, на котором они размещены. Попробуйте проверить это по логам
сервера.
Сейчас мы можем определенно сказать, что никаких запретов на
индексирование
сайтов с нашей стороны нет.
Обратите также внимание на несколько некорректную запись в robots.txt
ваших
сайтов:
User-Agent: *
Disallow:
Host: www.site.ru
Лучше так:
User-Agent: *
Host: www.site.ru
Disallow: может появляться при наличии каких-то запретов, например:
User-Agent: *
Disallow: /folder/
Host: www.site.ru
Обратите также внимание на несколько некорректную запись в robots.txt
ваших
сайтов:
User-Agent: *
Disallow:
Host: www.site.ru
Лучше так:
User-Agent: *
Host: www.site.ru
Disallow: может появляться при наличии каких-то запретов, например:
User-Agent: *
Disallow: /folder/
Host: www.site.ru
Вот видите, яндексоиды тоже мыслят логично, но при этом не соблюдают стандарты robots.txt.=)
Вот что ответили из Яндекса, по поводу выпадания трех сайтов
Вот и у меня сайт с
Disallow:
пропал
Удалил я robots.txt терь надеюсь проиндексирует заново
Проехал... ;)
Мда. Вот еще один вариант роботса, относительно которого саппорт Яндекса сказал, что он верен.
User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Host: www.site.ru
По-моему, единого понимания стандарта даже среди саппорта не наблюдается. Если разработчики проявляли подобный же плюрализм, вполне возможно, что разные роботы Яндекса по разному воспринимают одни и те же директивы.
Самое неприятное в этом, что предлагаемый в хелпе Яндекса вариант однозначно не верен, потому что Яндекс не единственный робот, и надо думать также о Гугле, МСН, Яху и прочих, которые host не поддерживают, а тут еще и disallow предлагается опускать.
Возможно, москвичам это не критично, но есть домены, в которых Яндекс отнюдь не основной трафикогенератор.
А написать
User-agent: *
Disallow: /test/
Host: www.site.ru
Религия не позволяет?