Для коллег - разработчиков движков каталогов

Пресс-релиз от 12.10.2007 - Для разработчиков движков каталогов

Осуществляя мониторинг продвижения наших сайтов по различным тематикам, а так же ряда конкурирующих сайтов, мы к некоторому удивлению узрели, что каталоги на тех или иных движках перестают индексироваться. При чём пачками. И это не связано с индивидуальными банами сайтов, т.к. другие страницы сайтов исправно индексируются.

К сожалению, заявлениям Я на тему бана каталогов мы не придали должного значения, т.к., как показывает практика, 90% всех подобных заявлений носит характер пи-ар акций на пустом месте, не имеющих под собой материально-технической базы. Надо признать, на этот раз мы "слегка ошиблись" и бездарно профукали ситуацию.

Некоторые совсем несложные наблюдения по архивам сайт аудитора:

1. Варёзные варианты движков продолжают индексироваться, тогда как официально купленные скрипты не индексируются (не смотря на отсутствие тех или иных запретов к индексации). Что явно указывает на то, что "стоп-словами" является копирайт. Рассматривались и другие варианты "стоп-слов", но они не подтвердились.

2. Страницы с копирайтом индексируются, но переходы по следующим линкам бот не осуществляет.

3. Прекращение индексации тех или иных движков совпадает с печально известным падениями тИЦев в последовательности "Сокращение индексации при апе -> обвал тицев при следующем пересчёте". Здесь показательна ситуация с нашим www.scanerlink.ru - 25.10.06 149 страниц в индексе (летом мы сами запрещали индексаций в связи с техпроблемами, далее индекс медленно но верно рос). 13.11.06 - 0 страниц с медленным ростом до десятка (и почти все не в разделах каталога). Новогодний "подарочный" обвал тицев все помнят? По остальным каталожным движкам примерно то же самое.

Несложные выводы:

1. "Я" мочет программеров с копеешными "платными" скриптами, поощряя варёзы с выдранными копирайтами, косвенно способствуя распространению пиратства.

2. Для исправления ситуации достаточно разработчикам движков убрать (что не всегда возможно) или сменить копирайты. Последнее желательно делать так часто, как позволяет разворотливость мелкого производителя в противовес колоссу на глиняных ногах.

3. Нечестному вебмастеру вовсе не надо запрещать к индексации свои каталоги различными robots.txt или не ставить ссылки с главной, достаточно оставить или повесить на них чей нить "засвеченный" копирайт. Можно даже запретить к индексации обратки повесив на статичную страницу чей либо копирайт. И ни один каталожный скрипт не просечёт, что страница с обратками таким вот макаром "запрещена к индексации". Данный приём делает все применяемые скриптами стандартные проверки просто пустой тратой ресурсов хостеров. Эфективна лиш проверка индексации поисковиком по прошествии времени.

4. Пока Гугль и Яху наращивают дата-центры, Я старается охладить свои перегретые сервера, снять нагрузку и отчистить ржавчину с кулеров. Даёш вторую жизнь кластерам на 486 процах! Вот истинная политика руководства Я. Следующие вполне логичные шаги - введение платного добавления в индекс, при чём за каждую страницу сайта :) , сокращение парка серверов и открытие нового дата-ценра под кроватью у руководства в комуналке.

Привики от сей напасти:

1. Мы давно предусмотрели данную ситуацию, но к сожалению, неоправданно про неё забыли, не поверили пиарщикам Я. Наш скрипт ещё с первых версий умеет брать копирайт с нашего сервера. Мы можем его менять так часто, как как Я не успеет понять, что их фильтры не работают. Как говорили древние "почаще поворачивай стиль". Забыли, закрутились с супортом и новым функционалом, виноваты, нет нам прощения. И хоть бы кто сказал или конкретно с выкладками обратил внимание на проблему... Но мы исправимся. Мы уже это сделали.

2. Для пущей уверенности, начиная с версии 1.3.1 PRO (сроки выхода форсируем как можем, очевидно сделаем раньше на пол месяца чем обещали) наш копирайт будет убран не только с морды скрипта, но и из разделов каталога - останется только на задворках. Это решение далось нам нелегко, но у нас "на попечении" гораздо больше сайтов (в том числе и родных) прописанных в неиндексируемых каталогах, чем приносит "доход" этот скрипт. И мы в первую очередь заинтересованны в их продвижении и в их окупаемости. Всегда надо взвешивать доход и расход, мы так считаем... до трёх, дальше не умеем :) И даже не будем предлагать убрать его за 20$ как другие. Просто уберём и точка. Борьба с некотроми оборзевшими поисковиками ваще святой долог каждого крестоносца (шютка).

Чего и желаем всем другим коллегам. И помните две старые мудрости - почаще поворачивай штиль и если Ты плюнет в обчество, то обчество утрётся, но если обчество плюнет в Ты, то Ты захлебнётся. Не будем показывать пальцем в последнюю букву алфавита...

Источник http://www.scanerlink.ru/press.php