- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
уж и хотел даже смайлик поставить в топике -)
но передумал -)
ситуация такая:
уже более полугода в роботс.тхт на моих сайтах стоит запрет на индексацию определённых страниц (они у всех сайтов одинаковые и их по 3-4 штуки на сайт)
однако вчера зеркальщик яндекса свободно прошёлся по этим файлам на всех моих сайтах, а также по их главным страницам.
а потом спустя час пришёл индексатор и забрал везде главные.
Однако...
п.с. топик получился вызывающий, но просто глаза округлились когда в стате своей увидел такое -) чтож... придётся отдавать 404-ошибку на этих файлах, раз он такой хитрый, наш Яндекс-монополист -)
Зеркальщику robots.txt не указ. Яндексоиды его за робота почему-то не считают. Наезжали уже на них за это дело.
Если вы сделаете 100 дублей сайта на разных доменах, дадите их проиндексировать, а потом закроете доступ роботу, то как зеркальщик узнает, что вы нагенерили дублей?
Поэтому робот с буквой H не соблюдает запреты robots.txt . Бурную дискуссию по этому поводу вел Wolf с сотрудниками Яндекса (давно было, при желании можно найти эту ветку) .
Вот интересно. Я могу ему ошибку выдавать, дык не проще robots соблюдать ?
Miha Kuzmin (KMY), вот и я подумал что это бред...
хотя вроде как и с одной стороны верно сделали они, а с другой фигня вышла.
обозвать это недокументированной возможностью зеркальщика и делать 404 там где не надо ничего смотреть ...
тока бы он не начал 404 ошибки проверять на наличие контента -) вот это точно будет бред -)
может ссылки на эти страницы явой сделать?..
s161077, можно конечно, но когда робот уже знает про страницы - он на них ходит достаточно долго
Стандарт можно, конечно, трактовать по-разному. Типа: "Страницы в индекс то, не попадают. Так в чем, собственно проблема?" Но...
Яндекс сам ссылается на следующий документ:
http://www.citforum.ru/internet/search/rbtspec.shtml
В нем написано:
Для того, чтобы исключить посещение сервера или его частей роботом необходимо создать на сервере файл, содержащий информацию для управления поведением поискового робота.
Следовательно зеркальшик - не робот, а сотрудник Яндекса на зарплате. :)