Мои сайты в Беларуси - api не работает. Может что-то связано с санкциями? Есть у кого-нить сайт не в зоне СНГ/и т.п. .... ну и чтобы api работало ... ?
Здравствуйте. Столкнулся с такой же проблемой на трех своих сайтах (уверен и 4-м тоже).
Смотрел статистику обхода робота гугла, одного из сайтов - 50,6К страниц за месяц. С учетом лимита АПИ 200 (стартового, на одном сайте в прошлом году у меня был лимит на http (без S) - 320) - это мизер для обхода сайта гуглом. Постоянно пользовался (Индексинг АПИ) при создании новых страниц/разделов (с большим количеством страниц) - для индексации страниц в гугле.
Я уже понял, что это будет для НАС реальность, есть мысли как в будущем загонять новые страницы в Гугл? Не считая мухляжа, что мол страница является объявлением о вакансии .... хотя .... тоже как вариант ... разметку можно легко поставить, НО можно и под фильтры попасть ...
Обновление Sitemap - "интересно", но пол года не вариант ждать. Инструменты Вебмастера давным давно не загоняют страницу в индекс.
Мысли вслух .... Гугл стал таким, т.к. вот эти все "обходы" на мировом уровне стоят миллиарды долларов (стоимость электроэнергии и амортизация ... железа) .... суды "-%" (по всему миру), .... реклама - "-%" ...
С одной стороны это ускоряет загрузку страниц, но как я понимаю там страницы кэшируются и контент может показываться старый (например обновление цен товаров или контактные данные ... да много чего может обновляться). Речь идет про мобильные версии сайта. Столкнулся с проблемой что страница обновилась, захожу в телефон, нажимаю на сохраненную ссылку - она открывает старый контент, причем кэширование настроено правильно + last-modified
fliger#: SetEnvIfNoCase User-Agent "^Mozilla/5\.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537\.36 (KHTML, like Gecko) Chrome/[\d\.]+ Safari/[\d\.]+$" Macintosh Order Deny,Allow Deny from env=Macintosh
RewriteCond %{HTTP_REFERER} (petalsearch\.com|dbankcloud\.com|neuronwriter\.com|telegra\.ph|baidu\.com|brief\.ly|s\.zlnav\.com|italstroy\.ru|iframe-toloka\.com|mobilesearchers\.com|coolakov\.ru|newsearchers\.com|tmweb\.ru|weebly\.com|calipso\.by|maxask\.com|presearch\.com|bitrix24\.ru|seranking\.com|xranks\.com|url-opener\.com|relevantus\.org|rush-analytics\.ru|api\.pfbaza\.website|arsenkin\.ru|tools\.pixelplus\.ru|m\.gsearch\.co|Ask\.com|readmehouse\.ru|factorial-eval|bitrix24\.by|alohafind\.com|planfix\.ru|amocrm\.ru|localmedia\.by|korona\.local|dynamitedojo\.com|topvisor\.com) [NC]
Стоит. Похоже на какой-то реферальный спам или ботовод накосячил :)
Спасибо большое! Написал в поддержку яндекса, жду ответа (скинул им логи, попросили) - приложу ответ в этой теме.
Стоит ли прописать в файле .htaccess что-то вроде этого:
RewriteCond %{HTTP_REFERER} ^http://(www\.)?yandex\.ru [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?google\.com [NC]
RewriteRule ^ - [F,L]
Может что-то связано с санкциями? Есть у кого-нить сайт не в зоне СНГ/и т.п. .... ну и чтобы api работало ... ?
Здравствуйте. Столкнулся с такой же проблемой на трех своих сайтах (уверен и 4-м тоже).
Смотрел статистику обхода робота гугла, одного из сайтов - 50,6К страниц за месяц. С учетом лимита АПИ 200 (стартового, на одном сайте в прошлом году у меня был лимит на http (без S) - 320) - это мизер для обхода сайта гуглом.
Постоянно пользовался (Индексинг АПИ) при создании новых страниц/разделов (с большим количеством страниц) - для индексации страниц в гугле.
Я уже понял, что это будет для НАС реальность, есть мысли как в будущем загонять новые страницы в Гугл? Не считая мухляжа, что мол страница является объявлением о вакансии .... хотя .... тоже как вариант ... разметку можно легко поставить, НО можно и под фильтры попасть ...
Обновление Sitemap - "интересно", но пол года не вариант ждать.
Инструменты Вебмастера давным давно не загоняют страницу в индекс.
Мысли вслух .... Гугл стал таким, т.к. вот эти все "обходы" на мировом уровне стоят миллиарды долларов (стоимость электроэнергии и амортизация ... железа) .... суды "-%" (по всему миру), .... реклама - "-%" ...
Раньше яндекс был тормоз - теперь гугл....
Разобрался что это за трафик идет, но не понятно - блокировать его или нет.
Это: Частный прокси-сервер предварительной выборки в Chrome
https://developer.chrome.com/blog/private-prefetch-proxy?hl=ru#
С одной стороны это ускоряет загрузку страниц, но как я понимаю там страницы кэшируются и контент может показываться старый (например обновление цен товаров или контактные данные ... да много чего может обновляться). Речь идет про мобильные версии сайта. Столкнулся с проблемой что страница обновилась, захожу в телефон, нажимаю на сохраненную ссылку - она открывает старый контент, причем кэширование настроено правильно + last-modified
Мне вот такой код помог:
Если у вас есть вот такой код (который убирает знак ? и все после него из URL):
RewriteCond %{THE_REQUEST} \?RewriteRule ^(.*)$ /$1? [R=301,L]
то этот (нижеприведенный) код должен стоять выше, чтобы он сработал первее:
RewriteCond %{THE_REQUEST} \? [NC]RewriteCond %{REQUEST_URI} (.*) [NC]
RewriteCond %{QUERY_STRING} utm [NC]
RewriteRule .* - [F]
Накрутка 100%, но заблокировать пока лучше вот так: 2001:4860:7::/48 и продолжить наблюдение.
Это не накрутка - это Гугл бот
SetEnvIfNoCase User-Agent "^Mozilla/5\.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537\.36 (KHTML, like Gecko) Chrome/[\d\.]+ Safari/[\d\.]+$" Macintosh
Order Deny,Allow
Deny from env=Macintosh
Спасибо большое!