- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте, подскажите пожалуйста как запретить индексацию таких страниц
/seller--s_id-47179.html
/seller--s_id-35179.html
/seller--s_id-39189.html
/seller--s_id-56164.html
таких страниц около тысячи, как правильно написать в robots
Raspin, http://help.yandex.ru/webmaster/?id=996567
почитайте про использование расширенного формата robots.txt
как запретить индексацию таких страниц
User-agent: *
Disallow: /seller
Raspin почитайте про использование расширенного формата robots.txt
Речь же не только о Яндекс и Гугль идет. Есть же и другие поисковики, которые расширенный формат (по маске) не понимают.
User-agent: *
Disallow: /seller
Или так:
User-agent: *
Disallow: /seller--s_id-
User-agent: *
Disallow: /seller--s_id-
почитайте про использование расширенного формата robots.txt
Прописал Disallow: /seller--s_id-*
Но яшка говорит:
Документ /seller--s_id-58153.html не может быть удален из базы Яндекса, так как он возвращает код, отличный от 404, и не запрещен в /robots.txt. Нет оснований для удаления.
User-agent: *
Disallow: /seller
Дело в том что у меня есть еще страницы вида /seller_goods--s_id-65135.html
которые я бы хотел чтобы индексировались
Дело в том что у меня есть еще страницы вида /seller_goods--s_id-65135.html
которые я бы хотел чтобы индексировались
Воспользуйтесь директивой Allow.
Яндекс поддерживает эту директиву в robots.txt.
Прописал Disallow: /seller--s_id-*
Но яшка говорит:
Документ /seller--s_id-58153.html не может быть удален из базы Яндекса, так как он возвращает код, отличный от 404, и не запрещен в /robots.txt. Нет оснований для удаления.
Урл документа http://site.ru/seller--s_id-58153.html
а не http://site.ru/directory/seller--s_id-58153.html
?
Надеюсь, вы не забываете, что все пути в robots.txt прописываются от корня сайта?
Урл документа http://site.ru/seller--s_id-58153.html
а не http://site.ru/directory/seller--s_id-58153.html
?
Надеюсь, вы не забываете, что все пути в robots.txt прописываются от корня сайта?
Адрес именно
http://site.ru/seller--s_id-58153.html
Может просто нужно подождаь когда яша пройдется по сайту
Может просто нужно подождаь когда яша пройдется по сайту
Для delurl это не нужно.
Может быть еще вариант, что старый robots застрял в каком-нибудь кэше или прокси (зависит от хостера).
Кстати, проверьте на всякий случай через test-robots.
User-agent: *
Disallow: /seller--s_id-
Сделайте вот так и проверьте всё-таки наличие файла в корне сайта.
По адресу http://site.ru/robots.txt - он открывается?