- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В силу особенностей CMS, возникла трудность с индексированием страниц, в частности Яндексом.
Страница выглядит следующим образом:
/ShowArticle.aspx?ID=1024
Но на эту страницу, также можно попасть через адрес:
/ShowArticle.aspx?ID=1024&AspxAutoDetectCookieSupport=1
/(X(1)A(w3vqtHcMygEkAAAAMDYzYjc5MjEtYjJkNS00MTcxLWIwZjMtNTFkOThlYzYwM2M5TvPdeej8RmnD5UGQrxZXcGpdLtc1))/ShowArticle.aspx?ID=1024&AspxAutoDetectCookieSupport=1
В итоге, после просмотра данных в панели ВМ, часто встречается 302 ошибка (ресурс временно перемещен). Робот индексирует страницу, на которую установлено перенаправление, а основной адрес страницы игнорирует.
Подскажите, как прописать в robots.txt следующий атрибут:
Не индексировать вышеупомянутые страницы с бредовым набором непонятных букв, а в ключать в индекс только те, которые соответствуют этому формату:
/ShowArticle.aspx?ID=1024
/ShowArticle.aspx?ID=1025 и т.д.
Поскольку в обоих вариантах присутствует параметр AspxAutoDetectCookieSupport, то проще всего так
Disallow: *AspxAutoDetectCookieSupport*
Это серьезная проблема, т. к. идентификатор страницы идёт до абракадабры. Символы подстановки в стандарт robots.txt не входят, их понимает только Google. Вам можно попробовать в движке как-то определять, будет ли абракадабра в URL, и если будет, выводить метатег, запрещающий индексацию. Других вариантов пока не знаю.
Bdiang, хуже всего, когда люди начинают давать безграмотные советы.
Стыдитесь и больше так не делайте.
BrokenBrake добавил 03.06.2009 в 08:24
Кстати, что за говнодвижок? Разработчикам этой чудо-CMS нужно руки оторвать и засунуть в то место, которым они думают.
Привести все урлы мод реврайтом к какому-то определенному виду.
И уже конкретные адреса закрыть от индексации.
хуже всего, когда люди начинают давать безграмотные советы.
Стыдитесь и больше так не делайте.
Не нужно переходить на личности и застыживать меня. Вопрос был задан конкретный:
Подскажите, как прописать в robots.txt следующий атрибут:
Не индексировать вышеупомянутые страницы с бредовым набором непонятных букв, а в ключать в индекс только те, которые соответствуют этому формату:
На что был дан, конкретный ответ.
Символы подстановки в стандарт robots.txt не входят, их понимает только Google.
Кстати спецсимвол "*" понимает не только Гугл, а еще и Яндекс, если Вы не знали.
Вам можно попробовать в движке как-то определять, будет ли абракадабра в URL, и если будет, выводить метатег, запрещающий индексацию.
Кстати, что за говнодвижок? Разработчикам этой чудо-CMS нужно руки оторвать и засунуть в то место, которым они думают.
Метатег, запрещающий индексацию - идеальный вариант, но вопрос был задан про robots.txt. Кроме того, бывают ситуации когда оптимизатор не имеет возможность что либо менять в движке. Может сначала стоит поинтересоваться у ТС, что да как, вместо того, чтобы судить и делать выводы?
Bdiang, хуже всего, когда люди начинают давать безграмотные советы.
Стыдитесь и больше так не делайте.
Вы хоть бы объяснили почему так нельзя... закрывают же версию для печати с помощью Disallow: /*print*, какая в данном случае разница?
Bdiang, Futurman, да, я не знал про Яндекс, извините.
Тем не менее, конкретные причуды всех роботов поисковых систем изучать врядли целесообразно, ведь есть один общепринятый стандарт. В котором про звёздочки ничего не сказано.
Jason_B, директива Clean-param Вам в помощь. :)
директива Clean-param Вам в помощь.
Не поможет в этом случае:
/(X(1)A(w3vqtHcMygEkAAAAMDYzYjc5MjEtYjJkNS00MTcxLWIwZjMtNTFkOThlYzYwM2M5TvPdeej8RmnD5UGQrxZXcGpdLtc1))/ShowArticle.aspx?ID=1024&AspxAutoDetectCookieSupport=1
да и Гугл Clean-param не понимает
Bdiang, я вот думаю - а на последний вариант урла есть ссылки, или его принуждают в карту сайта включать? Если у робота нет возможности узнать о пути, он им и не пойдёт. :)
Директива - да, нестандартная. Только Гугл почему-то и без неё разбирается. :)
а на последний вариант урла есть ссылки, или его принуждают в карту сайта включать? Если у робота нет возможности узнать о пути, он им и не пойдёт.
История ТС об этом умалчивает :) Но судя по посту ТС ненужные ссылки уже найдены как минимум одним поисковиком, так что исключение из sitemap не помешает роботу долбиться по найденным ссылкам.
Директива - да, нестандартная. Только Гугл почему-то и без неё разбирается.
Разберется или нет - зависит от "кривости" рук веб-мастеров :) Гугл не всесилен. Вообще, для гугла есть отличная штука - <link rel="canonical" href="" />