- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Сегодня в яндекс вебмастере увидел загруженные роботом страницы, которые я исключил от индексации.
роботс.тхт выглядит так:
User-agent: *
Allow: /
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Disallow: /kategoriya_1/2/
Disallow: /kategoriya_1/3/
Disallow: /kategoriya_1/4/
Disallow: /kategoriya_1/5/
Disallow: /kategoriya_2/2/
Disallow: /kategoriya_2/3/
Disallow: /kategoriya_2/4/
Disallow: /kategoriya_2/5/
Disallow: /kategoriya_3/2/
Disallow: /kategoriya_3/3/
Disallow: /kategoriya_3/4/
Disallow: /kategoriya_3/5/
Собственно, закрыл от индексации все страницы типа - http://site.ru/kategoriya_1/5/page.php, а страницы такие как http://site.ru/kategoriya_1/page.php должны быть в поиске.
В гугле все ок - все закрытые документы отображаются в "Заблокирован файлом robots.txt". Яндекс другого мнения... Загружаю сюда свой robots.txt, в поле "Список URL" вписываю несколько произвольных страниц закрытых от индексации и нажимаю проверить - результат:
http://site.ru/kategoriya_2/2/page_2.php разрешен
http://site.ru/kategoriya_1/3/page_3.php разрешен
http://site.ru/kategoriya_3/4/page_4.php разрешен
http://site.ru/kategoriya_1/5/page_5.php разрешен
Пробовал и без слеша в конце, например: Disallow: /kategoriya_3/5 и все равно пишет "разрешен".
Подскажите пожалуйста, что не так? Как закрыть эти страницы от яндекса?
Убейте директиву allow и проверьте работу вашего файла.
Про правильное оформление файлика тоже неплохо почитать бы.
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
это только для яндекса пишут, а не для всех
Убейте директиву allow и проверьте работу вашего файла.
Про правильное оформление файлика тоже неплохо почитать бы.
Убрал, все равно страницы разрешены.
vandamme, Вы имеете в виду, что нужно писать:
User-agent: Yandex
Allow: /
Host: site.ru
Sitemap: http://site.ru/sitemap.xml ...?
Вот меня всегда убивало то, что человек будет толочь воду в ступе до последнего, наступать на одни и те же грабли двадцать раз, но всё равно ничего исправлять и познавать сам даже и пытаться не будет.
ZI-ZU, ваша проблема ищется поиском за две секунды.
Читайте, читайте с самого начала и до конца, внимательно и желательно не один раз:
http://help.yandex.ru/webmaster/?id=996567
allow тебе вообще писать не надо, это точно
User-agent: *
Disallow: /kategoriya_1/2/
Disallow: /kategoriya_1/3/
User-agent: Yandex
Disallow: /kategoriya_1/2/
Disallow: /kategoriya_1/3/
Host: site.ru
Sitemap: httр://site.ru/sitemap.xml
типа....
Вот меня всегда убивало то, что человек будет толочь воду в ступе до последнего, наступать на одни и те же грабли двадцать раз, но всё равно ничего исправлять и познавать сам даже и пытаться не будет.
ZI-ZU, ваша проблема ищется поиском за две секунды.
Читайте, читайте с самого начала и до конца, внимательно и желательно не один раз:
http://help.yandex.ru/webmaster/?id=996567
Я, перед созданием топика, там уже был и здесь тоже.
Для яндекса все нужно было просто продублировать, только с User-agent: Yandex
Исходя из того, что мне нужно было закрыть для всех поисковиков одни и те же страницы, я просто использовал User-agent: *
Масол, я не знал об этой особенности яндекса и про воду в ступе Вы явно загнули:)
ZI-ZU добавил 02.12.2011 в 03:03
vandamme, да разобрался уже, но все равно спасибо!
ZI-ZU, и такое бывает :)
Еще вопрос: если страницы закрыты в роботсе, робот яндекса все равно их загружает? Т.е. они отображаются в яндекс вебмастере в "загруженные роботом"?
Несколько дней назад исправил ошибки в своем robots.txt, Анализ robots.txt выдает результат закрытых страниц, как положено - запрещен правилом /kategoriya_2/3/ и т.п. Сегодня, после апа зашел в вебмастер а там в "загруженные роботом" еще около сотни новых закрытых страниц, но в поиск ни одна не попала, зато страницы которые должны индексироваться каждый ап то вылетают, то снова попадают в поиск...
Ну подскажите кто-нибудь, пожалуйста, закрытые от индексации страницы в яндекс вебмастере в разделе "загруженные роботом" отображаются или нет?
Понимаю, что вопрос нубовский, но я просто с этим никогда не сталкивался...
ZI-ZU, у себя сейчас посмотрел - нет в загруженных роботом страниц, закрытых от индексации. Они есть только в исключенных страницах.
Но сами понимаете - один результат, это далеко не статистика.