- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В роботсе написано:
И, тем не менее, в перечне проиндексированных гуглом страниц вижу такой список:
Как полагаете, почему так?
По логам посмотрите когда бот заходил и когда Вы прописали robots, по датам.
пропишите так:
Disallow: /404.htm*
По логам посмотрите когда бот заходил и когда Вы прописали robots, по датам.
robots я раньше разместил - я эту проблему ожидал и заранее об этом побеспокоился. Но похоже, что бот прочитал его позже!
Модификацию
сейчас добавил. Это хорошая идея, спасибо!Ещё вот думаю: может, использовать конструкцию
Хотя, по сути, это не уместно.
Как полагаете?
Добавление каноникалов как вариант, но лучше проставить на странице, которую не нужно индексировать
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Последняя время заметил, что гугл игнорирует роботс и по этому решаю проблемы такого плана с помощью вышеуказанного мета-тега!
Где-то видел мнение что роботс носит всего лишь рекомендательный характер, а не запрещающий, и затем на своем опыте убедился что в индекс заползают даже страницы с полностью закрытого сайта. <meta> по идее должно решить проблему.
пропишите так:
+1, у вас роботс неверно составлен. Если более 2х недель страницы не начнут выпадать - то можете их вручную удалить через GWT. (если их не так много)
Где-то видел мнение что роботс носит всего лишь рекомендательный характер, а не запрещающий, и затем на своем опыте убедился что в индекс заползают даже страницы с полностью закрытого сайта. <meta> по идее должно решить проблему.
<meta> могут работать аналогично. Бобби Катц заявлял уже, что закрытые в роботсе страницы могут "вылазить" если на них активно ссылаются внешние\внутренние страницы и т.п. robots - не панацея, но закрыть неиспользуемый мусор и тех. страницы поможет)
<meta> могут работать аналогично. Бобби Катц заявлял уже, что закрытые в роботсе страницы могут "вылазить" если на них активно ссылаются внешние\внутренние страницы и т.п. robots - не панацея, но закрыть неиспользуемый мусор и тех. страницы поможет)
Дада, именно о нем я и говорил :)
пропишите так:
"По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'"
так что
Disallow: /reading.php
=
Disallow: /reading.php*
а вот
Disallow: /404.html
не запрещает 404.htm
гугл видимо в принципе не смотрит в роботс, на моем сайте каким-то образом индексирует результаты поиска, и постоянно добавляет их в запрещенные страницы в Инструментах вебмастера.
Мэт Катц клянется в роликах, что метатег должен помочь)
Добавление каноникалов как вариант, но лучше проставить на странице, которую не нужно индексировать
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Зачем там прописывать NOFOLLOW?
__________________Все посетители живые, не боты. (http://livesurf.ru/promo/80271)
Это хорошая идея, спасибо!
А чем она отличается от Disallow: /reading.
Мэт Катц клянется в роликах, что метатег должен помочь
https://mail.yandex.ru/neo2/?nocache спамерюгам на заметку