- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
У меня на сайтах лежат robots примерно такого вида
User-Agent: *
Disallow: /about.php
User-Agent: Yandex
Disallow: /about.php
Host: www.site.ru
Недавно обнаружил что yahoo проиндексировал запрещенные к индексации страницы about.php на всех моих сайтах.
Все остальные поисковики правильно интерпритируют этот роботс и не индексируют запрещённую страницу.
Обнаружил это нечаяно в логах.
Yahoo сначала взял robots.txt, потом сразу взял about.php
Cделал запрос Yahoo site:www.site.ru , точно есть такая страница в индексе yahoo.
решил переписать robots так (может поможет ? если явно указать yahoo , не индексировать страницу?):
User-Agent: *
Disallow: /about.php
User-Agent: Yandex
Disallow: /about.php
Host: www.site.ru
User-Agent: Yahoo
Disallow: /about.php
Роботс с запрещением индексирования страницы был залит раньше самой страницы , ещё год назад при создании сайта.
Сейчас ещё раз пересмотрел, уточнение:
на доменах 2 уровня не проиндексировал запрещённые к индексации файлы.
есть сайт, на поддомене 3 уровня, этот поддомен идет как отдельный сайт, и имеет свой robots, на этом сайте проиндексировал запрещённые к индексации файлы. причём в логах этого поддомена отмечается что yahoo, robots берёт и читает.
Хотя может я уже и запутался и ошибаюсь.
User-Agent: Yahoo
агент у них не просто Яху, полностью надо писать
дык а это?
Disallow: /about.php
Здесь указано, что робот слушается User-agent: Slurp
У меня ситуация похожая. Русский форум, посетителей с Yahoo, само собой, нет практически на него. При этом бот сидит на форуме безвылазно. Позавчера закрыл от Slurp полностью через роботс - форум пропал из выдачи (site: ), но бот так и ходит, смотрит страницы, как будто 'Disallow: /' для него не указ. Это временно у него - закрыл недавно - или так и будет "шастать"?
У Яхи совсем совести нет? В наглую ходит по страницам форума, как ни в чем не бывало.
Лично я на него поставил замедлитель
Crawl-delay: 250
В результате 1-2 потока что-то там шарятся, а не 120 как было с полгодика назад нашествие...
Число delay - в миллисекундах или секундах? А то в бестолковом хелпе яхи даже не сказано, в каких единицах задержка.