- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
На переобход можно всего лишь 30 и без К.
https://www.indexnow.org/ru_ru/documentation
Все-таки 10000 урловВчерашний список с 500 страниц на удаление Яндекс отклонил
В роботс.тхт поди запретили индексацию
Чтобы робот удалил или переобошел индексацию запрещать не надо
Все-таки 10000 урлов
Я думал вы про ЯВМ, а так да.
В роботс.тхт поди запретили индексацию
Чтобы робот удалил или переобошел индексацию запрещать не надо
Как раз нужно, в ЯВМ.Справке так и написано, ссылку я уже давал.
Я думал вы про ЯВМ, а так да.
В вебмастере количество зависит от икса
Как раз нужно, в ЯВМ.Справке так и написано, ссылку я уже давал.
Вот лично я в этом шибко сомневаюсь. По крайней мере, Гугл чётко пишет, что нельзя прописывать эту директиву для исключения из индекса:
https://developers.google.com/search/docs/advanced/crawling/block-indexing?hl=ru
То есть Disallow - это вообще-то запрет сканирования, а не индексирования. И страница естественно не будет проиндексирована если она не просканирована. А вот если она уже в индексе, то запрет на обращение к этой странице вовсе не означает, что страница будет исключена из индекса. Странно, если Яндекс работает иначе.
Явебмастер пишет что загружено примерно 43500 страниц, в поиске только пару сотен страниц
Пара сотен рабочих страниц или пара сотен, которые вредоностные?
Если вредоностные - принудительно на удаление то, что в индексе, остальное вредоностные (включая эти) - в disallow.
Если ошибка обработки заявки на удаление, значит код ответа сервера отличный от 404, а в вашему случае должен быть 404 (проверьте.)
Лопатить в заявки на удаление все 43,5K загруженных страниц не нужно, они сами вылетят в запрете в robots (правда не сразу).
Яндекс вполне справиться с исключением страниц и при явном запрете disallow в robots. Гугл может долгое время игнорировать инструкцию disallow.
Ставить плагин для переиндексации я смысла не вижу, ваша задача не переиндексировать инородные адреса, а убрать из индекса. Со временем актуальность их пропадёт и ничего особо специально здесь придумывать, на мой взгляд, не нужно.
p.s. Ещё одним вариантом (без disallow), это проставить noindex в тег X-Robots-Tag в коде ответа сервера - это действительно сработает более универсально и для Яндекса, и для Гугла. Но стоит ли оно того - решать вам :)
Я в таких случаях делаю IndexNow списка страниц, а они уже делают 301, 404 или canonical (зависит от случая)
Robots поможет только если легко обобщить шаблоном урлы страниц, если нет - только отбирать вручную, долго и медленно
В роботс.тхт поди запретили индексацию
Чтобы робот удалил или переобошел индексацию запрещать не надо
чтобы робот удалил как раз таки яндекс советует:
1. скрыть от индексации страницы в robots.txt
2. страница должна отдавать 404
допустим имеем страницы
site.com/virus/111
site.com/virus/222
site.com/virus/333
берем, обобщаем страницы и добавляем в robots.txt просто:
Disallow: /virus/
проверяем что страницы отдают 404 (я их давно удалил поэтому там давно 404) и скармливаем на удаление явебмастеру список этих страниц
ВОПРОС
я заметил что на рассматриваемом сайте зараженные страницы имеют вид:
*.shtml
*.php
*?*
мне их запретить правильно вот так?
Disallow: *.shtml*
Disallow: *.php*
Disallow: /*?*