- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Прошу прощения за ньюбовский вопрос, но тем не менее. Я читал, что есть особенность у роботов в том, что они индексируют заполненные формы. Затем за это могут последовать санкции.
Есть у меня клиентский сайт, у которого за счет модреврайта эти самые формы вынесены в определенный раздел, который собственно и закрыт Disallow: /дирректория/
Но каким-то волшебным образом часть страниц проиндексировалась.
Я могу передавать заказы разными способами, в том числе и Post и GET , но передаю заказ ссылкой, что мне удобно с точки зрения программинга.
Вопрос в том, что можно закрыть эти ссылки программно, но это будет уже клоакинг.
И как поступить? И могут ли быть санкции за то, что робот-сборщик прошел по данным страницам в обход правила robots.txt?
пс: если подобная тема была, то приношу извинения.
Вот тут почитайте, как закрыть программно, недавно была тема:
/ru/forum/152514
Поскольку вы программист, то разберетесь, как чуть-чуть подправить RewriteRule
Не будет клоакинг.
И могут ли быть санкции за то, что робот-сборщик прошел по данным страницам в обход правила robots.txt?
Насколько я знаю, стандарт исключений для роботов, всего лишь рекомендации для поисковиков, а не приказ. Может быть, ошибаюсь. Не буду категоричным.
Вчера то же самое заметил у себя - яндекс ходит по страницам, явно закрытым в robots.txt.
Вот тут описывается такой же случай.
Суть в том, что яндекс кеширует robots.txt. Но в моем случае, получается, что время кеширования уже составляет больше месяца, т.к. именно месяц назад я произвел соответствующие изменения в robots.txt.
Fordik, речь о новом сайте :) У которого проиндексировались запрещенные страницы, и ни одной другой в индекс не попало.
То есть с точностью до наоборот.AVV, спасибо, но проще переделать на передачу методом пост, что я и сделаю.
Суть в том, что яндекс кеширует robots.txt.
Абсолютно верно. И не только Яндекс, Рама тоже кеширует. На счет других, не обращал внимания.
MSN, вроде как не кеширует. :)