- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте уважаемые коллеги!
Ни так давно заметил, что Яндекс стал хавать непонятные странички на моем сайте:
Так как у меня не бывает страничек, где после расширения стоит слэш, я прописал код:
if(strpos($_SERVER['REQUEST_URI'], '.php/')) {header("HTTP/1.0 404 Not Found");
include("404.php");
die;
}
При заходе на такую страничку сайт правильно реагирует и отправляет на 404.php Но Яндекс всё равно продолжает их индексировать (скрин во вложении). А те которые не хавает, подписывает, что "Недостаточно качественная", а не то, что там 404 ответ. Подскажите, как быть? В чем может быть дело?
За ранее спасибо, Александр.
Добавлю скрин кода, так как форум вставил какие то звезды:
правильно реагирует и отправляет на 404.php
Это скорее всего отдаёт код 301 или 200, проверьте! А роботам для прекращения индексации надо 404 или 410.
Это скорее всего отдаёт код 301 или 200, проверьте! А роботам для прекращения индексации надо 404 или 410.
Скажите пожалуйста, как это проверить? С ув.
https://checkmy.ru/
https://checkmy.ru/
Чекнул, вот что выдал сервис:
Тады не знаю, должен удалить со временем...
Во-первых, аналогичные штуки настраиваются не в коде, а в конфиге веб-сервера.
Во-вторых, почитайте про canonical.
В-третьих, сделайте сами curl -I , либо попробуйте https://olegon.ru/page/ он притворяется ботом (правда, гугловым).
В-четвертых, рекомендую проверить на сайте заражение вирусом или наличие открытого редиректа (когда при переходе на определенный URI вашего сайта сразу перекидывает на какой-то другой сайт).
Во-первых, аналогичные штуки настраиваются не в коде, а в конфиге веб-сервера.
Опа! Сейчас обнаружил, что после недавнего падения сервера у хостинг-провайдера - нет файла .htaccess в корне сайта 🙅
Во-вторых, почитайте про canonical.
Читал, и кое где его использую. Но в данном случае считаю что такие УРЛ должны четко отправлять 404, так как эти вереницы непонятных папок и файлов берутся непонятно откуда.
В-третьих, сделайте сами curl -I , либо попробуйте https://olegon.ru/page/ он притворяется ботом (правда, гугловым).
Спасибо! Полез курить!
В-четвертых, рекомендую проверить на сайте заражение вирусом или наличие открытого редиректа (когда при переходе на определенный URI вашего сайта сразу перекидывает на какой-то другой сайт).
В этом плане всё чисто! Сайт написан мной и я знаю каждый кусочек кода на нем. С ув.
Это походу PATH_INFO для множественных точек входа. Т.е. вы просто поместили php-файлы в корень.
Чтобы запретить запуск файлов с такими путями, можно использовать директиву AcceptPathInfo Off. Но лучше использовать современные подходы к сайтостроению, а именно единую точку входа, потому что у множественных есть и масса др. проблем с дублями, например к именам файлов можно спокойно добавлять строку параметров.
Опа! Сейчас обнаружил, что после недавнего падения сервера у хостинг-провайдера - нет файла .htaccess в корне сайта
Аккуратнее. Он иногда не отображается по умолчанию в ftp-клиенте..
Но Яндекс всё равно продолжает их индексировать (скрин во вложении).
Робот видит "кривую" ссылку и переходит по ней.. При этом результат похода робота можно наблюдать в вебмастере.
Возможно, помимо 404, имеет смысл разобраться с причиной появления такого рода ссылок (относительные вместо абсолютных, видимо)..
В зависимости от настроек сервера, по URL (даже при отсутствии .htaccess)
может быть выведен как channel_eng.php из корня, или "точка входа" (на которую все несуществующие адреса перенаправляются), так и страница 404 ошибки (по умолчанию, или "своя" из корня вроде 404.php 404.html)
Естественно, используя директивы .htaccess, можно все эти настройки переопределить.. =)