напишите на странице: <noindex> - это тэг который скрывает отображение. Тогда и узнаете регулярка или нет.
Причем тут яша к UTF-8? Если юзер создает текст для сайта, или перегоняет его на сервак который использует utf-8 F а для русских букв нужно использовать utf-8 LE, что яша и делает, то почему яша должен заботиться о конвертировании не правильной кодировки на чужом сервере?
Pagepromoter не видит потому что там упрощенное XML преобразование, и такие ходы не предусмотрены. А be1 ничего не преобразовывает, он просто ищет перебором document.all.tags("NOINDEX") поэтому и видит твои тэги.
Те кто режет код gif-ами - идти учить матчасть. Мля такие сайты потом минутами грузятся а счетчик картинок внизу зашкаливает. Вообще к дизайну ламеров не допускать блин. А тут еще и про Alt в этих картинах так серьезно толкуют, что меня просто кондрат берет.
Табличная верстка валидна, если она валидна! Хочешь писать валидный код - пиши, а хочешь проще и чтобы работало - хаки юзай, это дело вкуса. Для робота что с хаками, что валидный - все одно и тоже. Я 12 лет пишу алгоритмы (в том числе и поисковые), конечно я не могу знать точно какие действия выполняет например яндекс при расчете веса и ранжировании, но как код обрабатывается - это всегда одинаково. У меня такой же поисковик на компе написан - выполняется XLST преобразование HTML тэгов в итемы с возможностью мгновенного получения статистики по позиции и количеству, а потом начинается анализ словоформ и вписывание их в БД со статистическими показателями. Как дополнительный признак, некоторые итемы добавляют, либо отнимают вес как слова, так и всего документа (например один h1 плюс вес слову и +0.03 документу, а десять h1 минус вес документу в целом и -0.05 домену). Поэтому, будет у вас на странице хак для IE или не будет - алгоритму по барабану, от этого текст позицию не сменит, и количество словоформ не увеличится.
Да сбои у них с роботами млина. Мой сайт выпал из каталога к чертям собачим, я им быстро на саппорт ноту, через 5 часов ответ с извенениями и сайт опять в каталоге.
Да, кстати, не много в офтоп но по теме сбоев: Сбои не только у них, мне вот хостер тоже прислал - закрываем ваш хост за спам, на вас жалоба мол, и прикладывает стандартное письмо спамеров, в котором Reply-To стоит один из моих доменов (даже не реальный адрес, а просто не существующая лажа с моим доменом). Я ему с матюками ноту - где тут мой IP отправителя, или вы не знаете IP своих серверов? Какой то спамоход вписал мой сервак, а вы мне тут закрытие впариваете? Через 20 минут извенения и все прочее. Так что глюки у народа после нового года еще долго будут.
Лебедев реально рулит. Все его сайты очень хорошо воспринимаются и в полном объеме соответствуют содержанию, для которого делался сайт. А вот на счет верстки в его сайтах - тут да, полный пи... Я иногда не могу его понять - чего ж так наплевательски относится к коду. Объем его страниц без потери работоспособности можно уменьшить почти вдвое, в некоторых сайтах - втрое.
Конечно не против, но только у него получается почему то как всегда, а не как надо.
Действительный обман он почему то не очень различает, а вот реальный контент сайта считает обманом. По любому двух словному поиску, что то я не видел нормального контента в топе, а на второй-третьей странице очень релевантные документы идут, отчего бы это? Не подскажете
С сайта вообще не реально от многого спрятаться, это и ежу понятно. Я не только с сайта юзаю, я с локальных машин в основном хожу, никакой инспектор никогда ничего не сможет определить с локальной машины.
А как я могу выйти за отведенный лимит, если пользователь смотрит постоянно кучу результатов по страницам, но ему в лицензии не запрещено этого делать. За что закрыть пользователя? За то, что он активный очень и приносит яше деньги в виде просмоторщика рекламы на которой они зарабатывают?
Мои скрипты и локальные проги которые работают с нетом умеют генерить движение мыши по странице, нажатие клавиш, распознование OCR картинок защиты, сессии, считать суммы цифр на картинках и не на картинках, куки, разное время задержки как у юзера, отвечать на ява окна, прикидываться последними версиями Opera, Firefox, IE, может заюзать около 100 элитных проксей и около 4000 прозрачных, и всё, что может сделать браузер сделает и мой бот.
А чем тебя улыбнуло? Сейчас вот на форум я пишу ответы через мой скрипт который одновременно 1000 форумов пасет и ни один из форумов никогда не определит что это бот.