Боюсь, уже не прокатит. Хром + андроид.
sisers, пожалуйста, кэп. Исходя из условий в первом твоем посте, первый же ответ (мой) полностью им соответствует.
Если ты по человечески, структурно с примером папки и страницы напишешь, что тебе нужно индексировать, а что - нет - возможно я смогу нормально из вновь открывшихся условий 😂 дать тебе пример. Кэп.
sisers, смотри подсказки гугла и яндекса по robots, там всё внятно рассказано и есть примеры того, что вас интересует :) В частности использование спецсимволов и allow и порядок этого использования.
easywind, вам четко объяснили, что гугл ворует то, что ему не положено. И наплевать на объемы, которыми он ворочает.
Делать мне ничего не нужно, того сайта нет давно уже. А вот накой мне запрещенный для всех сайт в ВМТ вносить, что-то в коде персонально для вора гугла писать и т.д. - совершенно непонятно. Проще от этого вора закрыться по .htaccess, хотя и тогда он проиндексирует с помощью хрома и андроида 😂
Ну возьмите выборку по десятку групп :) Из них 5 популярных с толпой подписчиков и частым обновлением, и 5 непопулярных. И картина станет более целостной :) И повторите то, что выше сделали по нашим рекомендациям. Все же просто.
easywind, а ничего, что предусмотрена директива, общая для всех адекватных ботов без лишних сущностей? Если я не хочу предлагать свой контент к индексации, я не обязан перечислять 100500 ботов, да еще и отслеживать появление 100500 новых. Достаточно одной единственной директивы по стандартам. Но только не гуглу, конечно 😂
При том когда на robots.txt клала вебальта, многие орали, мол беспредел и всё такое. А с гуглом значится надо польку танцевать 😂
Именно. Возможно на вашем хостинге они включены. А может даже есть Webalizer или awstats например, упрощающие обработку логов.
Счетчики типа li.ru ботов поисковых систем увы, не видят.
Дата последнего посещения ни о чем не говорит. Может он взял одну страницу.
Так а зачем их переделывать то? Они не в порядке?
Если в порядке - не переделывайте, ждите. Если не в порядке - переделывайте. Но после переделки бот их все равно сначала сожрать должен. Ускорить индексацию можно внешней ссылкой, но в данном случае, думаю смысла не имеет, сайт маленький.
А, вы об этом? Тогда ваша фраза становится понятной, спасибо :)
Ну да, мы им конечно же верим :) Особенно когда они при этом говорят, что на сайты так вообще повлиять нельзя 😂
Еще бы вы что-то поняли и признали, было бы совсем здорово. Например то, что про бёрст писал не я 😂
И вам не хворать. Тем не менее, ТС получил массу информации на свой вопрос :)
Так вы логи смотрели? На какие страницы бот заходил, когда?
Если он после изменений съел страницы, которые тут перечислены, то через 1-2 апа должно поменяться.
