- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Вопрос такой:
Строка:
Disallow: /*&st=-5
Запрещает индексировать все адреса, заканчивающиеся на &st=-5
Т.е. * - это заменяет кучу любых символов в адресе (не один символ)?
И ещё вопрос:
Почему яндекс говорит, что
http://www.yandex.ru/cgi-bin/test-robots?host=www.civfanatics.ru
Данный файл robots.txt ничего не запрещает.
Хотя он вроди бы много чего запрещает.
Данный файл robots.txt ничего не запрещает.
Хотя он вроди бы много чего запрещает.
По тому, что нету файлов с именами, начинающимися со звездочки.
http://robotstxt.org.ru/
Вопрос такой:
И ещё вопрос:
Почему яндекс говорит, что
http://www.yandex.ru/cgi-bin/test-robots?host=www.civfanatics.ru
Данный файл robots.txt ничего не запрещает.
Хотя он вроди бы много чего запрещает.
Уберите пустую строку после User-Agent: *, тогда будет запрещать
Кстати, сервис для проверки: http://www.sxw.org.uk/computing/robots/check.html
А на русском такого нет?
А на русском такого нет?
Не знаю
......
А на русском такого нет?
А переводчиком не пробовали пользоваться?😂
А на русском такого нет?
У вас не настолько сложный robots.txt, чтобы еще и сервис натравливать.
1) Уберите же две пустые строки! Весь блок должен быть сплошным.
2) Звездочки Яндекс и Рамблер не понимают, для них это такой же символ.
Вопрос в догонку: Яндекс в robots.txt различает заглавные и строчные буквы в именах файлов и папок?
Неправильно:
User-agent: *
Disallow: /CGI-BIN/
Правильно:
User-agent: *
Disallow: /cgi-bin/
Вывод я думаю сделаешь сам...
Неправильно:
User-agent: *
Disallow: /CGI-BIN/
Правильно:
User-agent: *
Disallow: /cgi-bin/
Вывод я думаю сделаешь сам...
С чего Вы взяли, что одно правильно, другое нет?
NickPro, согласно стандарту должен различать.
могу тебе скинуть весь файл про robots.txt....может еще чего нового для себя откроешь:)