- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Яндекс проиндексировал несколько тысяч ссылок на страницы, которых у меня нет. И директории такой нет.
Ссылки вида http://mydomain.ru/mypage.html/бла/бла/бла/бла/..
между слешами вместо бла названия моих директорий или файлов, любых в любом порядке, которые известны Яндексу.
Все эти страницы - дубликаты mypage.html, которая у меня живёт давно в виде файла mypage.html - физическая страница. У меня таких штук 20 есть с давних пор, они достаточно посещаемые и чтоб не загружать базу так и держу их в виде файлов. Они по идее так шустрее обрабатываются сервером nginx, всяко быстрее чем Apache.
Сегодня после апдейта утром заглянул в ЯндексВебмастер и вместо привычных 3к страниц в индексе более 6К.
Как Яндекса угораздило подкинуть более 3к одинаковых страниц с левыми адресами, пока не понял. Но надо же их как-то удалить...
У меня установлено AddType application/x-httpd-php .php .html для страниц html
И почему-то доступен адрес http://mydomain.ru/mypage.html/
После слеша в конце можно писать всё что угодно, хоть романы в стихах, сервер выдаёт одну и ту же страницу mypage.html.
Если убрать AddType application/x-httpd-php .php .html - тогда всё нормально - ошибка 404.
Может это косяк сервера?
Запретил /mypage.html/ в роботсе. Но Яндесу пофиг. Глянул в логи, робот YandexBot/3.0 весь день сканирует эти левые урлы и получает ответ 200.
Проверяю в Вебмастре - пишет что запрещено /mypage.html/ . А сам сканирует как бешеный.
Что будет дальше, не знаю. Уже к вечеру десятки тысяч запросов от этого бота на эти выдуманные урлы.
Создать папку mypage.html нельзя, сервер не позволяет папки с расширением. Ответ 404 для Яндекса от этих левых страниц организовать пока не получается....Как я понял, нужна ошибка 404 или 403.
Убрать AddType application/x-httpd-php .php .html пока не могу, в html-файлах инклуды работают.
Есть ли возможности у сервера запретить доступ к директории /mypage.html/, если такой директории физически не существует?
AcceptPathInfo Off
https://httpd.apache.org/docs/trunk/mod/core.html#acceptpathinfo
Sigmo#ID, Спасибо огромное!!! Помогло!
Всё отлично теперь работает в таком варианте:
AcceptPathInfo Off
AddType application/x-httpd-php .php .html
ErrorDocument 404 /404.html
Яндекс теперь получает 404. Надеюсь, через пару апдейтов удалит эту грязь из индекса...