- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Нужно удалить из бызы Яндекса все страницы из раздела www.имя_сайта.ru/pages/...
Добавил в robots.txt строку "Disallow: /pages/", затем в сервисе Яндекса послал запрос на удаление через форму "Удалить URL" выбрал "удалить весь подкаталог (все URL, начинающиеся с данной строки) каталог должен быть запрещен в файле /robots.txt".
Вроде как сделал все верно.
Однако уже прошло несколько дней, а страницы все еще находятся в базе если проверять через сервис "Проверить сайт".
Сколько времени должно пройти пока из бызы удалятся все указанные в пути страницы?
И сколько времени занимало это у вас?
Сначала надо взглянуть на ваш robots.txt, показывайте.
User-agent: *
Disallow: /search/
Disallow: /_shaurma_gb/
Disallow: /404_page/
Disallow: /pages/
Disallow: /pages/scripts/downc_log/
Disallow: /pages/scripts/guest_book/
Host: www.сайт.ru
Дело в том, что мне нужно удалить из бызы ссылки на листинги каталогов такого типа:
- www.сайт.ru/pages/articles/2006_year/art_11_01_06/?C=D;O=A
- www.сайт.ru/pages/programs/?C=N;O=A
- www.сайт.ru/pages/sources/database/?C=D;O=D
Давно уже бьюсь, но никак не получается их убрать.
А как я понял из-за них не регистрируются нормальные страницы, типа:
- www.сайт.ru/pages/sources.html и т.п.
Disallow: /pages/scripts/downc_log/
Disallow: /pages/scripts/guest_book/
Эти две строки личшее, т.к. выше они уже запрещены.
По сути вопроса: Все изменеия в выдаче происходят после апдейтов (кроме банов сайта, они имхо могут и в междуапье выпасть). Так что ждите 1-2 апдейта, все должно удалиться.
Последние два Disallow лишние, т.к.
Disallow: /pages/
запрещает все, что внутри. И слеш я бы пока убрал,
Можете попробовать оставить так:
User-agent: *
Disallow: /search/
Disallow: /_shaurma_gb/
Disallow: /404_page/
Disallow: /pages
Host: www.сайт.ru
И еще раз зайти в форму удаления раздела.
Максимум 2 недели займет.
А вообще, потом лучше перечислить только то, что вам не нужно, если в /pages/ есть еще и нужные страницы.
А как я понял из-за них не регистрируются нормальные страницы, типа:
- www.сайт.ru/pages/sources.html и т.п.
Да, кстати при написании "Disallow: /pages/" в индекс не попадут страницы типа: www.сайт.ru/pages/sources.html
ОК, но как все-таки правильнее:
так - Disallow: /pages
или
так - Disallow: /pages/
?
Их и так нет в базе, причем если даже добавить URL "www.сайт.ru/pages/sources.html", на след. день он в базе появляется, однако через паруд ней исчезает.
Не в курсе, с чем это может быть связано?
ОК, но как все-таки правильнее:
так - Disallow: /pages
или
так - Disallow: /pages/
?
Если робот воспримет /pages и /pages/ разными урлами, то лучше первое. А так без разницы.
По хорошему при запросе дерриктории сервер сам подставляет слеш в конце.
Их и так нет в базе, причем если даже добавить URL "www.сайт.ru/pages/sources.html", на след. день он в базе появляется,
Это скорее всего выдача быстроробота.
однако через паруд ней исчезает. Не в курсе, с чем это может быть связано?
1. Возможно есть копия этой странице, которая уже есть в индексе.
2. Запрещена индексация через Disallow: /pages/
3. Какие либо сбои у вас на сервере (проверьте лог - может роботу 404 отдается, или любая другая ошибка).
Это скорее всего выдача быстроробота.
1. Возможно есть копия этой странице, которая уже есть в индексе.
2. Запрещена индексация через Disallow: /pages/
3. Какие либо сбои у вас на сервере (проверьте лог - может роботу 404 отдается, или любая другая ошибка).
А это может быть связано с тем что вместо страниц в базе есть только ссылки на листинги каталгов, например как этот
www.сайт.ru/pages/?C=D;O=D
Поэтому эта страница "www.сайт.ru/pages/sources.html" и не регистрируется?