- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день.
Сори за дурацкое название топика, по другому назвать не смог.
Ситуация следующая: имеется страница, скажем, item.php, прописан на эту страницу mod_rewrite, так вот, если я закрою через robots.txt страницу item.php, то mod_rewrite тоже выпадет из индекса ?
Спасибо.
то mod_rewrite тоже выпадет из индекса
Как может mod_rewrite вообще быть в индексе?
По теме: роботы обрабатывают урлы в том виде, в котором им их выдаёт сервер.
Т.е. какую ссылку им подсунуть, ту они и съедят. А уж как она формируется ...
Тоже самое касается и Disallow в robots.txt
Как может mod_rewrite вообще быть в индексе?
не mod_rewrite, а страница с прописанным mod_rewrite поверх нее.
физический адрес item.php?id=490, а псевдоурл catalog/nokia-6300
И вот интересно, если закрыть от индексации item.php?id=490, то и catalog/nokia-6300 тоже закроется. Спрашиваю потому, что в логах сервера бот-индексатор обращается именно к реальной странице, к ее физическому адресу.
И вот интересно, если закрыть от индексации item.php?id=490, то и catalog/nokia-6300 тоже закроется.
Для робота это разные страницы. Так что catalog/nokia-6300 останется в индексе.
Спрашиваю потому, что в логах сервера бот-индексатор обращается именно к реальной странице, к ее физическому адресу.
Поставьте редирект на новый адрес.
И вот интересно, если закрыть от индексации item.php?id=490, то и catalog/nokia-6300 тоже закроется.
Нет. Не закроется. Для роботов это всё равно разные страницы.
А в логах постоянное обращение идёт к старым адресам или изредка?
Может просто где-то сохранилась внешняя ссылка на ваш сайт со старым видом урл?
Нет. Не закроется. Для роботов это всё равно разные страницы.
А в логах постоянное обращение идёт к старым адресам или изредка?
Может просто где-то сохранилась внешняя ссылка на ваш сайт со старым видом урл?
Всегда и на всех сайтах. Пишет GET и дальше реальный адрес страницы. Тоесть в индекс попадают всевдоурлы, но обращается он все-равно по реальному адресу.