Глюкодром. Третьи сутки висит надпись "Заявка от 20.12.2021 на переезд сайта ... обрабатывается (это может занять некоторое время)." И никакой возможности перезапустить процесс нет.
Если это то, о чём я подумал, то доступ к подобному должен быть запрещён для всех.
Раньше гугл мне ошибками "Проиндесировано несмотря на запрет в robots.txt" не сыпал. Это вот в новой консоли началось.
Ничего умнее как открыть доступ боту в robots.txt для устранения этих ошибок я не придумал. Думаю гугл не настолько туп чтобы постоянно долбиться в запрещённые к индексации метатегом страницы. Тем более что если таких страниц много, то со структурой сайта что то не то.
Это почему это? Ничего глобально не поменялось лет за 5. А не ограничивать ботов - это получить траблы со сканированием - как пить дать.
Потому что Гугл стал считать что имеет право разрешать своему боту индексировать страницу несмотря на запрет в robots.txt. А когда запрещаешь ему включать страницу в индекс метатегом, то он включает дурака и заявлят что его бот не видит страницу с этим метатегом из за запрета в robots.txt.
При таком раскладе проще полностью открыть доступ боту и рулить индексацией метатегами.
postavkin#: Выше я говорил лишь о том, что когда вам нужно закинуть 1000+ урл, вы будете +- по 200 закидывать в сутки. Но сутки "для закидывания" это не то что начинается с того как вы проснулись и снова можно отправлять 200урл, там у гугла иначе, поэтому в итоге, иногда отправив урлы раньше срока, они не закидываются. Как я понял, вы даже ответ не получаете 200 ок, или лимит исчерпан.. может те что не зашли у вас, вы закидывали уже превысив лимиты
При превышении квоты гугл чётко отдаёт ошибку 429. Другое дело что и ответ 200 не гарантирует приход бота-индексатора.
Кстати, выше кто то говорил что не получает количество ошибок при пакетной отправке. Я использую api на php (вдруг это важно) и все ошибки вполне видно.
Глюкодром. Третьи сутки висит надпись "Заявка от 20.12.2021 на переезд сайта ... обрабатывается (это может занять некоторое время)." И никакой возможности перезапустить процесс нет.
Лет 5 держу часть доменов в namesilo. Паспорт ещё ни разу не спрашивали.
в папках шаблона, в кэшах
Если это то, о чём я подумал, то доступ к подобному должен быть запрещён для всех.
Раньше гугл мне ошибками "Проиндесировано несмотря на запрет в robots.txt" не сыпал. Это вот в новой консоли началось.
Ничего умнее как открыть доступ боту в robots.txt для устранения этих ошибок я не придумал. Думаю гугл не настолько туп чтобы постоянно долбиться в запрещённые к индексации метатегом страницы. Тем более что если таких страниц много, то со структурой сайта что то не то.
Это почему это? Ничего глобально не поменялось лет за 5. А не ограничивать ботов - это получить траблы со сканированием - как пить дать.
Потому что Гугл стал считать что имеет право разрешать своему боту индексировать страницу несмотря на запрет в robots.txt. А когда запрещаешь ему включать страницу в индекс метатегом, то он включает дурака и заявлят что его бот не видит страницу с этим метатегом из за запрета в robots.txt.
При таком раскладе проще полностью открыть доступ боту и рулить индексацией метатегами.
Ребята, подскажите почему многие крупные сайты добавлять так много строк в robots.txt?
Потому что когда делались эти крупные сайты robots.txt ещё работал. Сейчас же нужных ботов лучше никак не ограничивать.
Нормальные регистраторы обычно предоставляют Mail Forwarding. Юзайте его.
На дефолт отдаю 444. А то мало ли чего...
Выше я говорил лишь о том, что когда вам нужно закинуть 1000+ урл, вы будете +- по 200 закидывать в сутки. Но сутки "для закидывания" это не то что начинается с того как вы проснулись и снова можно отправлять 200урл, там у гугла иначе, поэтому в итоге, иногда отправив урлы раньше срока, они не закидываются. Как я понял, вы даже ответ не получаете 200 ок, или лимит исчерпан.. может те что не зашли у вас, вы закидывали уже превысив лимиты
При превышении квоты гугл чётко отдаёт ошибку 429. Другое дело что и ответ 200 не гарантирует приход бота-индексатора.
Кстати, выше кто то говорил что не получает количество ошибок при пакетной отправке. Я использую api на php (вдруг это важно) и все ошибки вполне видно.
Если не работает сертификат - запрос попадёт в лог веб-сервера?
Этого я точно не знаю.