Общее мнение понятно.
Но, ещё раз :), по сути - любая энциклопедия это всего лишь каталог статей.
Неужели надо выкинуть из индекса все энциклопедии?
Или оставить только старинные и зарекомендовавшие себя?
Но (опять), ведь могут появиться новые, с тем же набором статей, но иначе структурированные, возможно более удобные для каких-то групп пользователей.
Их тоже "под нож" с формулировкой "наполняйте уникальным контентом"?
Увидел топик, но другой WishMaster мне не запомнился, поздравил Вас.
Рано или поздно у Вас будет Д.Р., так-что всё равно удачи.
Это каталоги сайтов, я интнресуюсь судьбой каталогов статей.
The WishMaster, что Вы понимаете под словом "зафильтруют"?
Если - выкинут из индекса, тогда каталогов статей скоро совсем не останется.
Если - некий симбиоз непота и фильтра "ты последний", то зачем их вообще держать в индексе?
А с другой стороны.
Если я разместил свою замечательную, уникальную и очень нужную людям статью в сотне каталогов статей, неужели все сто страниц надо выбросить?
Одну наверное стоит оставить для пользователей.
Встает вопрос: как Яндекс выберет статью, которую надо оставить?
P.S.
The WishMaster, поздравляю с Д.Р.
успехов
Значит врет либо Artlight, либо Яндекс :)
Наводит на размышления.
м.б. владельцам каталогов стоит насочинять несколько страниц "о чем нибудь", начиная от антиглобалистов и заканчивая диспутами с супругой о выносе мусора?
Посмотрите пост №4, если я правильно понял - заходит и самостоятельно.
Ой, подождите. а Вы кого?
Или я что-нибудь недопонимаю?
Concept, у ТС робот Yandex/1.03.003 (compatible; Win16; D) ведет себя по разному при добавлении страницы в аддурл и при самосоятельном заходе.
При добавлении жрет robots.txt и морду, а при самостоятельном заходе (насколько я понял, он может заходить и самостоятельно) - только robots.txt причем два раза подряд и дальше не идет.
robots.txt описанный в первом посте совершенно тревиальный.
м.б. имеет смысл попробовать написать в robots.txt :
User-agent: yandex
Disallow:
User-agent: *
Хотя, и отсутствующий файл robots.txt робот Яндекса пытается считать два раза (може чего-то недопонимает...)
Да, с термином "Дятел", видимо ошибся.
На настоящий момент - однозначно Яходка
А вообще, жалею что Анжелика больше не появляется, как-то её не хватает.
На самом деле, этот робот (где-то встречал название "Дятел"), проверяет сайт (или вернее, страницу) на доступность и передает эти данные другим роботам.
Относительно аддурлки:
Пост №4
Тут что-то другое.
