- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день.
Сори за дурацкое название топика, по другому назвать не смог.
Ситуация следующая: имеется страница, скажем, item.php, прописан на эту страницу mod_rewrite, так вот, если я закрою через robots.txt страницу item.php, то mod_rewrite тоже выпадет из индекса ?
Спасибо.
то mod_rewrite тоже выпадет из индекса
Как может mod_rewrite вообще быть в индексе?
По теме: роботы обрабатывают урлы в том виде, в котором им их выдаёт сервер.
Т.е. какую ссылку им подсунуть, ту они и съедят. А уж как она формируется ...
Тоже самое касается и Disallow в robots.txt
Как может mod_rewrite вообще быть в индексе?
не mod_rewrite, а страница с прописанным mod_rewrite поверх нее.
физический адрес item.php?id=490, а псевдоурл catalog/nokia-6300
И вот интересно, если закрыть от индексации item.php?id=490, то и catalog/nokia-6300 тоже закроется. Спрашиваю потому, что в логах сервера бот-индексатор обращается именно к реальной странице, к ее физическому адресу.
И вот интересно, если закрыть от индексации item.php?id=490, то и catalog/nokia-6300 тоже закроется.
Для робота это разные страницы. Так что catalog/nokia-6300 останется в индексе.
Спрашиваю потому, что в логах сервера бот-индексатор обращается именно к реальной странице, к ее физическому адресу.
Поставьте редирект на новый адрес.
И вот интересно, если закрыть от индексации item.php?id=490, то и catalog/nokia-6300 тоже закроется.
Нет. Не закроется. Для роботов это всё равно разные страницы.
А в логах постоянное обращение идёт к старым адресам или изредка?
Может просто где-то сохранилась внешняя ссылка на ваш сайт со старым видом урл?
Нет. Не закроется. Для роботов это всё равно разные страницы.
А в логах постоянное обращение идёт к старым адресам или изредка?
Может просто где-то сохранилась внешняя ссылка на ваш сайт со старым видом урл?
Всегда и на всех сайтах. Пишет GET и дальше реальный адрес страницы. Тоесть в индекс попадают всевдоурлы, но обращается он все-равно по реальному адресу.