- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте уважаемые коллеги!
Ни так давно заметил, что Яндекс стал хавать непонятные странички на моем сайте:
Так как у меня не бывает страничек, где после расширения стоит слэш, я прописал код:
if(strpos($_SERVER['REQUEST_URI'], '.php/')) {header("HTTP/1.0 404 Not Found");
include("404.php");
die;
}
При заходе на такую страничку сайт правильно реагирует и отправляет на 404.php Но Яндекс всё равно продолжает их индексировать (скрин во вложении). А те которые не хавает, подписывает, что "Недостаточно качественная", а не то, что там 404 ответ. Подскажите, как быть? В чем может быть дело?
За ранее спасибо, Александр.
Добавлю скрин кода, так как форум вставил какие то звезды:
правильно реагирует и отправляет на 404.php
Это скорее всего отдаёт код 301 или 200, проверьте! А роботам для прекращения индексации надо 404 или 410.
Это скорее всего отдаёт код 301 или 200, проверьте! А роботам для прекращения индексации надо 404 или 410.
Скажите пожалуйста, как это проверить? С ув.
https://checkmy.ru/
https://checkmy.ru/
Чекнул, вот что выдал сервис:
Тады не знаю, должен удалить со временем...
Во-первых, аналогичные штуки настраиваются не в коде, а в конфиге веб-сервера.
Во-вторых, почитайте про canonical.
В-третьих, сделайте сами curl -I , либо попробуйте https://olegon.ru/page/ он притворяется ботом (правда, гугловым).
В-четвертых, рекомендую проверить на сайте заражение вирусом или наличие открытого редиректа (когда при переходе на определенный URI вашего сайта сразу перекидывает на какой-то другой сайт).
Во-первых, аналогичные штуки настраиваются не в коде, а в конфиге веб-сервера.
Опа! Сейчас обнаружил, что после недавнего падения сервера у хостинг-провайдера - нет файла .htaccess в корне сайта 🙅
Во-вторых, почитайте про canonical.
Читал, и кое где его использую. Но в данном случае считаю что такие УРЛ должны четко отправлять 404, так как эти вереницы непонятных папок и файлов берутся непонятно откуда.
В-третьих, сделайте сами curl -I , либо попробуйте https://olegon.ru/page/ он притворяется ботом (правда, гугловым).
Спасибо! Полез курить!
В-четвертых, рекомендую проверить на сайте заражение вирусом или наличие открытого редиректа (когда при переходе на определенный URI вашего сайта сразу перекидывает на какой-то другой сайт).
В этом плане всё чисто! Сайт написан мной и я знаю каждый кусочек кода на нем. С ув.
Это походу PATH_INFO для множественных точек входа. Т.е. вы просто поместили php-файлы в корень.
Чтобы запретить запуск файлов с такими путями, можно использовать директиву AcceptPathInfo Off. Но лучше использовать современные подходы к сайтостроению, а именно единую точку входа, потому что у множественных есть и масса др. проблем с дублями, например к именам файлов можно спокойно добавлять строку параметров.
Опа! Сейчас обнаружил, что после недавнего падения сервера у хостинг-провайдера - нет файла .htaccess в корне сайта
Аккуратнее. Он иногда не отображается по умолчанию в ftp-клиенте..
Но Яндекс всё равно продолжает их индексировать (скрин во вложении).
Робот видит "кривую" ссылку и переходит по ней.. При этом результат похода робота можно наблюдать в вебмастере.
Возможно, помимо 404, имеет смысл разобраться с причиной появления такого рода ссылок (относительные вместо абсолютных, видимо)..
В зависимости от настроек сервера, по URL (даже при отсутствии .htaccess)
может быть выведен как channel_eng.php из корня, или "точка входа" (на которую все несуществующие адреса перенаправляются), так и страница 404 ошибки (по умолчанию, или "своя" из корня вроде 404.php 404.html)
Естественно, используя директивы .htaccess, можно все эти настройки переопределить.. =)