- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Подскажите, все ли поисковики нормально воспринимают синтаксис предложенный в яндыксе касательно allow?
User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'
Я, конечно, извиняюсь, но строка
Disallow: /
запрещает весь сайт к индексации, по-моему.
Я новичок, простите, если глупость написала. Вопрос по robots.txt для меня тоже немаловажен.
рекомендую к прочтению http://help.yandex.ru/webmaster/?id=996567
Благодарю, я это читала.
User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'
И все же, эта запись означает, как я и говорила, разрешение на скачивание только страниц, начинающихся с /cgi-bin. Все остальное под запретом. Мне не понятно: зачем запрещать весь сайт к индексации? Или Вы просто скопировали запись и сомневаетесь в том, что правильно ли Яндекс пишет и понимает синтаксис собственной директивы Allow: /
Или Вы спрашиваете будет ли работать, например, такая запись:
Allow: /cgi-bin
Disallow: /
Меня интересует именно директива allow и именно для других поисковиков, с яндексом всё понятно.
Меня интересует именно директива allow и именно для других поисковиков, с яндексом всё понятно.
Нормально воспринимают, есть ведь стандарты.
Подскажите, все ли поисковики нормально воспринимают синтаксис предложенный в яндыксе касательно allow?
User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'
Если говорить о конкретно Вашем приведенном примере, то нужно отметить, что Вы явно указали, что данная директива относится к роботу Яндекса (User-agent: Yandex).
Если поставить так: User-agent: * то все поисковики воспримут строку Allow: вполне нормально
Да, спасибо, это пример с яндекса ) вопрос был задан потому что, на сколько я понял, директива allow была введена не так давно и возможно отсталые ПС не ввели её ещё )
Да, спасибо, это пример с яндекса ) вопрос был задан потому что, на сколько я понял, директива allow была введена не так давно и возможно отсталые ПС не ввели её ещё )
А зачем Вам отсталые ПС? Если не секрет конечно...
этот вопрос нужно задать тем кто ими пользуется )
Сейчас уже googlebot точно понимает эту команду! Вот ссылка: ссылка.