Туристический партнерский магазин - с наступающим сезоном!

Отдавать роботам белую страницу вместо каталога - гениальное решение! Ваш компетентнейший программист оказывается не знаком ни с robots.txt ни с понятием и последствиями клоакинга.

Огромная признательность за АП топика.

Не усматриваю клоакинга по-определению - на сайте просто есть неиндексируемые разделы неуникального контента, которые от ПС и закрыты.

Ответ от программиста:
"До белых страниц после нововведений ПС не могла бы добраться самостоятельно, на католог для ПС не выводилась ни одной ссылки!

Также после нововведений PHPSESSID для 4-х основных посиковиков для ПС не заводится и заводится не будет! Об этом мы писали выше. Если вы не хотите PHPSESSID для более экзотичных поисковиков сообщите нам об этом и скажите для каких именно!

Приоткроем немного занавесу страшной тайны, но зачем нам нужна одна сессия на одного уникального посетителя (т.е. один файлик сессии на сервере на одного пользователя) мы не будим =)

Сейчас:
1. контент выдается одинаково для всех (для ПС и для пользователя):

- ссылки, куда поисковику не следует ходить, помечены rel="nofollow" и обрамлены тегом noindex

- но поисковик все же туда может зайти и попытаться проиндексировать, поэтому на тех страницах все как и для всех, но вместо каталога или еще какого закрытого от ПС контента появляется "Страница в разработке". Т.к. официально это страница исключена из индекса ПС, то подмена контента не должно ни на что влиять.

- просмотреть и сравнить как страница будет выдаваться поисковику можно посмотреть прибавив к URL параметр &spider=1. ПС данный параметр не виден и в результатах поиска выдаваться не будет.

2. URL содержащие в себе PHPSESSID и иные индивидуальные индентификаторы, которые любым образом могут быть переданы или ПС или третьим лицам работать не будут, будет выдаваться пустая страница с хидером 404 ошибки. В первую очередь это сделано для невозможности индексации ПС.
Проверка происходит по IP. Т.к. ваш IP, с которого вы посмотрели страницу с индивидуальным контентом, с вероятностью в 100% не будет таким же как у ПС, то проиндексировать такую страницу ПС не сможет.

Про &spider=1:
Этот параметр показывает только визуальную часть, для того чтобы подробней изучить страницу как она будет выглядеть для ПС и будут ли PHPSESSID'ы стоит сэмулировать поисковик, т.е. подменить User Agent на нужного поисковика и отключить куки. Просто отключение кук приведет только к добовлению PHPSESSID'а."

Уже лучше, но пора бы уже и robots.txt освоить, дать ссылки на статьи в интернете?

Это и есть клоакинг - почитайте определение в интернете. И ещё небольшой ликбез: если робот уже запомнил адрес страницы он туда потом вернётся, также он туда придёт по ссылкам со сторонних сайтов, так что ваша полумера не поможет.

Вам robots.txt, как и php.ini, использовать религия не позволяет? Зачем всё делать через одно место?

Спасибо, но я умею просто подменять useragent для этих целей=)

Не 100%, конечно, айпи бывают динамическими, но мера действенная. Проблема будет только в слетающей сессии у людей с динамическими айпи, но ничего страшного.

Mantius добавил 01.08.2011 в 11:07

Да на здоровье - обращайтесь=)

На тех страницах где происходит замена контента, что для поисковиков что для пользователей выводится тег <meta name="ROBOTS" content="noindex, nofollow">, на тот волшебный случай если поисковик припрется неизвестно откуда по ссылке, которую не нужно индексировать.

Поисковики один раз увидев ссылку и посетив страницу будут возвращаться туда оооочень долго. У меня яндекс уже больше полугода посещает несуществующие страницы сайта.

И вы не ответили на вопрос:

Отвечаю - в нашей ситуации мы пользовались подходящим нам инструментарием и сделали по-своему, впрочем, как всегда )

Роботы ПС больше не должны по-идее лазить куда не нужно, впрочем, - поживём увидим

ЗЫ Все положительные идеи рано или поздно будут реализованы

SmArodina добавил 03.08.2011 в 11:37

Есть идея привлечь ассортимент хоккейной тематики.

Партнёры, нам это интересно?

Перед осенью-зимой - естественно зимние виды интересны!

Какие планируются бренды и процент с продаж?

Добро, будем заниматься. Про бренды и процент пока не можем ничего сообщить.

сообщение партнёрам: на следующей неделе ожидаются бренды: Alexika, KSL, Tengu, Maverick.

Здравствуйте, успеете на следующей неделе, а лучше до понедельника с загрузкой Алексика и Мэверика?

Товар хороший и хотелось бы его по-быстрее начать двигать.

ЗЫ Спрашиваю про скорость подгрузки чтобы иметь возможность под них подготовить обзоры для СЕО.

наивные.... Мегафон тоже так думал, пока СМС-ки в выдаче не появились... про тулбары у юзеров и метрики вы, конечно, не слышали?

единственный рекомендуемый Яндексом способ закрыть страницы от робота - robots.txt