Все отлично! Быстро и по делу.
Добрый день.
Оцените, пожалуйста, возможность добавления сайта ZONT.net
Для большого сайта логично сделать своего ловца ботов - чтобы каждый раз, когда заходил бот, ему подсовывалось минимум по три-четыре непроиндексированных страницы твоего же сайта. Понятно что робот "устанет" и не проглотит все за один раз. Но каждое посещение будет приносить больше пользы (по данному вопросу) чем раньше.
мобильная версия страницы имеет тот же адрес? Я бы ничего не скрывал...
Мне кажется, если хочется сильно заморочится, то:
1) Попытаться вычислить всю возможную обратную ссылочную массу
2) Далее, что склеилось и не имеет обратной ссылочной массы - удалить.
3) Проверить обратную ссылочную массу на профпригодность - вдруг это порно сайт или еще какой мусор. Если так - тогда смело сносить все те редиректы которые оттуда.
4) Что из оставшегося имеет хоть одну обратную ссылку, то хрнанить и следить - будут ли переходы (боты или живые) по этой ссылке в течении года.
5) Если по обратной ссылке в течении года не было переходов - проверяем ссылочку для успокоения совести еще разок (и если она не тиц 100500) то удаляем...
Этот алгоритм можно автоматизировать и доработать более подробно.
Так проблема не в этом. Это легко и понятно.
Проблема в том, что делать, когда пересекаются несколько тегов в одном общем запросе.
Например:
тонкие матрасы + матрасы для диванов + ортопедические матрасы = тонкие ортопедические матрасы для диванов.
Вот такую "химеру" куда отправлять? Если и под нее формировать свою полностью отдельную страницу (url, title, h1), и делать это на автомате, то при 80000 товаров ты получится несколько миллионов по своему уникальных пересечений тегов... но тогда наплодим пустых и очень похожих страниц, за что схватим фильтр.
А если формировать такие пересечения руками и создавать такие страницы исходя из семантического ядра, то при 80000 товаров руками столько пересечений сделать не реально.
Или, все таки, отправлять такую химеру на какой-то более высокочастотный раздел. Вопрос в том на какой??? На тонкие матрасы? Или на матрасы для диванов? Или же на ортопедические матрасы?
Кстати, сам собой рождается вопрос, а что считать тегом? Ортопедический, безпружинный, тонкий, недорогой, для дивана??????????
То есть, все тут собравшиеся не видят ничего страшного в том чтобы просто взять и отменить правила в robots.txt закрывающие папки css и js ??? Но может быть все-таки есть способ проверить их на косячность перед открытием - например лишние файлы, или не используемые строки и так далее.. или может быть что-то можно объединить в один файл вместо трех.
какую такую область с выборкой товаров закрыть от индексации?
не понял
Вполне! А дальше и еще какие-нибудь данные начнет анализировать.
В вопросе "как при этом страница отображается в разделе google вебмастера "посмотреть как google" ?" я имелл виду - отображается ли тот скрытый внутри css текст при просмотре этим инструментом в вебмастере гугла?
Что касается темы. Похоже какого-то определенного опыта по теме ни у кого пока нет... А жалко. Хотелось бы понимать, какие действия надо совершить перед открытием папок к индексации.
Может отдать на аудит спецам по css - пусть найдут проблемные места в css и скажут как уменьшить количество файлов?
Я тоже люблю истории про теорию мирового заговора и тому подобное. Но, вероятно, в этом случае это всего лишь долгожданный и закономерный процесс развития, момент, которому давно следовало бы случится.
