- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте.
Настроили логирование ошибок на сайте.
Каждый день вижу сотни ошибок «404 Not Found».
Кто-то проходит по несуществующим страницам.
Параметр referrer (источник перехода) пуст, т.е. прямой переход.
Проверил пару несуществующих URL (которые были в файле логов ошибок) и обнаружил что например в Яндексе таких страниц нет в индексе, но их регулярно обходят поисковой робот.
https://yadi.sk/d/wbjf9PUZ3JYCUu
Вопросы:
1) Есть ли в Google аналогичный инструмент как в Яндексе «Проверить статус URL» https://yadi.sk/d/yvAVUuMp3JYCk6
2) Можно ли массово (заданный список) проверить статусы страниц (Яндекс / Google). Через сервис, по API или еще как-то?
3) Как сделать чтобы несуществующие страницы перестали обходиться роботом (Яндекс / Google)?
4) Можно ли массово загрузить список несуществующих страниц, чтобы дать поисковику команду перестать обходить такие страницы (Яндекс / Google)?
1. Да, есть - http://joxi.ru/Q2KqpB7szExNrj
2. Сервис проверки индексации страниц - https://digimetr.com/ru/tools/check-page-index
3. Запретить маски урлов в robots.txt
4. Нет