- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Столкнулся с такой проблемкой - нужно удалить сайт из индекса полностью, но сайт в каталоге - нужно чтобы каталог не задело (т.е. сайт сам по себе не пропадает и не теряет тематики и пр. нужно просто "жестко" его обновить).
Идем сюда: http://webmaster.yandex.ru/delurl.xml и читаем:
ОК! Но смотрим здесь:
Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)
Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса
Кроме роботов у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.
Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.
Иными словами если в robots прописать, например:
Disallow: /
То каталожный дятел сайт тоже потеряет? Чего тогда делать? Писать:
Disallow: /
Для каждого из не нужных ботов? Но в данном User-agent есть пробелы :( А с точки зрения стандарта это разделитель ботов.
Или так делать:
Disallow: /
В общем "пАмАжите люди добрые"...
Столкнулся с такой проблемкой - нужно удалить сайт из индекса полностью, но сайт в каталоге - нужно чтобы каталог не задело (т.е. сайт сам по себе не пропадает и не теряет тематики и пр. нужно просто "жестко" его обновить).
Идем сюда: http://webmaster.yandex.ru/delurl.xml и читаем:
ОК! Но смотрим здесь:
Иными словами если в robots прописать, например:
То каталожный дятел сайт тоже потеряет? Чего тогда делать? Писать:
Для каждого из не нужных ботов? Но в данном User-agent есть пробелы :( А с точки зрения стандарта это разделитель ботов.
Или так делать:
В общем "пАмАжите люди добрые"...
Может проше скрипт серверный написать? Что бы всем роботам отдавал запрет, а каталожному нет..
Да скрипт никогда не поздно... Сначала нужно понять есть ли более простые методы. Потом за скрипт (одному боту дает, другому нет) можно и под санкции попасть... Сочтут на автомате клоакингом - оправдывайся потом...
Варианты предложенные вами не правильные...Яндексовские боты не поймут эти роботсы..Они понимают только
Ну а вообще...Че заморачиваться-то? Ну пропадет на время он из ЯК, но потом же вернется. Либо же просто после обновления написать в ЯК и они исправят все.
Ну а вообще...Че заморачиваться-то? Ну пропадет на время он из ЯК, но потом же вернется. Либо же просто после обновления написать в ЯК и они исправят все.
Вот это и стремает - учитывая как иногда геморно с ЯКом бывает, писать потом не хочется.
А точная инфа что боты не поймут? Есть где почитать? Или это предположение?
Напиши Платонищу, разъясни проблему, он норм мужик, подскажет. Тем более - это его работа.
Если на форуме ни у кого даже мыслей нет на этот счет - Платон думаю просто "нервно курить" должен... Разве что в соседний отдел сходит за консультацией.
malls, помнится мне Платон говорил, что ресурсы удаляются из Каталога, если при автоматической проверке методом HEAD ресурса на «живость», робот User-Agent: Yandex (Dyatel; C) получает ошибку, отличную от 200.
То есть запрет в Robots.txt не повлияет на размещение сайта в Каталоге. ;)
.htaccess
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Yandex/1\.01\.001\ \(compatible;\ Win16;\ I\)
RewriteRule ^.*$ - [F]
10 htaccess
Напиши Платонищу, разъясни проблему, он норм мужик, подскажет. Тем более - это его работа.
Точно мужик? на фотках пресловутой "Экскурсии..." я девушек среди редакторов тоже видел... Кажется...:o
По теме: Я всегда делал блокировкой в роботс.тхт и метатеге роботс.
Однажды только скрипт применил, добрый такой... 404 всем, по любому :) Потерял аж целых 24 уника за сутки :D
malls, не бойтесь насчет каталога. Дятел не нарушает запрета на скачивание страницы, он только простукивает запросом HEAD.
Ну, а запрещать индексацию главной страницы и всего сайта, который в каталоге Яндекса - это довольно странное желание, согласитесь.