- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
... уже пару дней.
Сам контент пока не дергает.
Он его будет дергать если роботс ему это не запрещает? Через какое время?
Проблема волнует потому что игрался недавно с языковыми версиями сайта и по ошибке яндекс получал английскую версию. В итоге из индекса он меня вынес. Теперь смотрю добавляет обратно, стартовая страница уже есть, домены третьего уровня пока нет но по ним ходит робот и дергает роботс только.
а вот такой у меня роботс, запрещаю всяких бесполезных пауков.
User-agent: *
Disallow:
User-agent: ia_archiver
Disallow: /
User-agent: TurnitinBot
Disallow: /
User-agent: Zyborg
Disallow: /
Первая директива вообще способна запретить все. Никогда не пробовал оставлять Disallow пустой, но это вполне можно принять за запрет индексировать весь сайт. Зачем оно надо?
Пустая директива Disallow разрешает индексирование всего. Об этом говорится в стандарте.
Для запрета индексирования всего надо ставить слеш:
Disallow: /
В данном конкретном случае первые две строки можно опустить.
Пардон, стандарта не помню.
А смысла такой директивы и подавно не понимаю. Robots.txt запрещает индексирование обычно, что не запрещено, то, соответственно, разрешено.
Зачем первые строки сам не знаю, взял их со страницы какого-то робота бесполезного, так они советовали отлучить их робота.
В таком виде роботс у меня уже месяца два один на все виртуальники на машине. Как минимум Гугл отлично индексирует все.
Собственно, на мой вопрос так никто и не ответил.
Если Яндекс находит по ссылке новый для него домен и спустя некоторое время дергает с него роботс и только его, то что это может значить? Придет ли он за контентом?
Вот пример для этого случая:
To allow all robots complete access
User-agent: *
Disallow:
Or create an empty "/robots.txt" file.
Приведу простой пример: необходимо всем роботам запретить индексирование, а роботу рамблера -- разрешить. Выглядит как-то так:
User-agent: StackRambler
Disallow:
User-agent: *
Disallow: /
Обязательно! :) Со временем...
Cherny, а если нужно всем запретить, например, только 1 URL?
Просто
User-agent: *
Disallow: /url.htm
? Я прав?
Просто
User-agent: *
Disallow: /url.htm
? Я прав?
Прав.
ShamoIdol, Cherny, напоминаю, что записи
a) начинаются с user-agent'ов;
b) разделяются пустой строкой;
c) незнакомые директивы в неправильном месте игнорируются.
Поэтому:
- пример ShamoIdol говорит disallow: / всем роботам.
- пример (второй) Cherny говорит disallow: / Рамблеру.