- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Проверил robots.txt по WebmaterTools и оказывается что строки
User-agent: *
Crawl-delay :
google считает ошибочными. Почему? НА многих сайтах вижу используется.
А как правильно тогда указывать правила для всех роботов?
Crawl-delay : 0.5
Может так надо? Не пробовали? :)
А вообще зачем вам этот параметр? Чтоб был как у всех?
Crawl-delay :
google считает ошибочными. Почему?
насколько я знаю, он этот параметр игнорирует.
а что там за точка перед User-agent ?
может там после disallow слэш не стоит
Зачем вы показали закрашенный скрин? Гадалок тут нету. Вы самое важное скрыли. А вообще давайте ссылку на нам роботс сайта, тогда и получите ответ а не гадания на кофейной гуще.
Сдается перед user-agent пробел, гугл просто точкой его отметил, после этого все записи уже будут ошибками, которые должны исполнять инструкцию какую -либо .Crawl пишется в любом месте, поэтому не выдает ошибку, но ни к чем не относится, поэтому предупреждение (или из-за пробела между двоеточием).
может там после disallow слэш не стоит
стоит,
Сдается перед user-agent пробел
нету пробела.
наверняка это BOM вылез. открой в блокноте, пересохрани файл в ansi и перезалей
возможно проблема на стороне хостинга, они могут блокировать доступ к роботс, у меня было что не кушал роботс и выводил ошибку 500 я написал хостингу и они исправили
Народ, вы совсем упоролись? Ну ладно понимаю дорвеи, ГСы и прочие творения не палите, но robots.txt прятать и просить помощи?!