- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Как раз 80 тысяч ОШИБОК в минуту - это вполне достижимая величина.
Запросы в access.log, а в error.log - ошибки.
Покажите robots.txt, и строку из access_log, которая показывает что запрашивает яндекс
Вообще как бы оговорился... 10 тысяч строк с одной и той же ошибкой. За одну секунду. В минуту это была оговорка. Даже цикл на сайте с ошибкой не даст такого эффекта. там есть другие запросы. Посмотрите. В логе не только яндекс присутствует. Ладно. Скажем, цикл вызывает ошибку 10-20 раз. Откуда берутся тысячи? Яндекс слишком сильно индексирует. Оххо... Акцесслог придется выбирать из MySQl.
Hack_phoenix добавил 16.08.2009 в 08:33
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /home/34/2009/10 HTTP/1.1" 200 939 "-" "Yandex/1.01.001 (compatible; Win16; I$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /home/34-2009-06-23-05-24-59/59--ati-directx-11 HTTP/1.1" 200 904 "-" "Yandex$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /login/reset.html HTTP/1.1" 200 889 "-" "Yandex/1.01.001 (compatible; Win16; $
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /component/mailto/ HTTP/1.1" 200 1809 "-" "Yandex/1.01.001 (compatible; Win16$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /joomla/2009-07-17-03-49-04/126-2009-07-18-07-20-10/2009/5.html HTTP/1.1" 200$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /home/51-2009-07-17-03-30-27/2009/8 HTTP/1.1" 200 939 "-" "Yandex/1.01.001 (c$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /component/content/article;/82 HTTP/1.1" 200 239732 "-" "Yandex/1.01.001 (com$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /joomla/139-system-mechanic-standart-v900 HTTP/1.1" 200 302780 "-" "Yandex/1.$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /index.php HTTP/1.1" 200 14259 "-" "Yandex/1.01.001 (compatible; Win16; I)"
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /home/34/2009/9.feed HTTP/1.1" 200 939 "-" "Yandex/1.01.001 (compatible; Win1$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /features/35/2009/7.feed HTTP/1.1" 200 939 "-" "Yandex/1.01.001 (compatible; $
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /home/51-2009-07-17-03-30-27/123---chrome-os--windows-7.html HTTP/1.1" 200 39$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /home/51-2009-07-17-03-30-27/142-internet-explorer-8-----q-q.html HTTP/1.1" 2$
77.88.26.25 - - [15/Aug/2009:00:16:25 -0400] "GET /home/51-2009-07-17-03-30-27/2009/7 HTTP/1.1" 200 939 "-" "Yandex/1.01.001 (c$
вот акцесс там поменьше, там на гигабайт выйдет... Ничего, если я счас заархивирую и положу вам рядом, чтобы вы убедились?
Hack_phoenix добавил 16.08.2009 в 08:35
а роботс.тхт БЕЗ crawl-delay и это вообще не принципиально. В данном случае его наличие или отсутствие вообще ни о чем не говорит.
Hack_phoenix добавил 16.08.2009 в 08:37
З.Ы. почему я гугла вот так не вижу? Почему-то он заходит через СЛУЖЕБНЫЙ домен в 64 кб/с канал, индексирует 100 с лишним страниц, да так, что зайдя через неделю в гугл я лишь удивился, что он умыдрился на крайне низкой скорости вытянуть это все и положить к себе в кеш...
tcpdf/ - эту директорию под пароль ставь и будет нормально, была такая же ошибка. Это баг у джумлы ... на англ. форумах такую тему поднимали и не раз.
Так определитесь был ли в robots.txt crawl-delay или нет?
Я же не просто так говорю, что все проблемы с яндексом решаются грамотным robots.txt
а роботс.тхт БЕЗ crawl-delay и это вообще не принципиально. В данном случае его наличие или отсутствие вообще ни о чем не говорит.
Говорит о некомпетентности.
Это уже переливание из пустого в порожнее.
З.Ы. почему я гугла вот так не вижу? Почему-то он заходит через СЛУЖЕБНЫЙ домен в 64 кб/с канал, индексирует 100 с лишним страниц, да так, что зайдя через неделю в гугл я лишь удивился, что он умыдрился на крайне низкой скорости вытянуть это все и положить к себе в кеш...
Про политику Яндекса и их бота можете почитать у них на сайте.
Да, им похрену на все, т.к. они мегакрутая российская компания, не то что какой-то Гуглыш.😂
С другой стороны - проблема с Яндексом явно есть. Я сам видел, как это чудо набежало индексировать большой по объему сайт подняв загрузку в 4 раза. Мне интересно, Яндекс о ней знает? Вы (или не вы, эта проблема на форуме озвучивалась уже раз двадцать) ему писали? Я думаю, что если большое количество людей будет их пинать то рано или поздно они тоже напишут ограничитель своего краулера, как гугл.
robots.txt - это хорошо, только не всегда он применим и не все о нем знают. Раз уж мы о вирт. хостинге говорим.
Вот и как яндекс определит повышающуюся нагрузку на сервере?
Проблема с яндексом в том, что он генерит нетипичную нагрузку по всем старым страницам. Сразу идут лесом memcached и прочие обычные методы кеширования. Он загрузит все, куда пользователи не ходят, все, что вы даже не предполагали и забыли прописать в исключениях. Будьте к этому готовы или вы упустите шанс.
Я как-то делал на виртхостинге глобальный robots.txt через alias, который ставил delay
И все работало отлично :)
Я как-то делал на виртхостинге глобальный robots.txt через alias, который ставил delay
И все работало отлично :)
Проблемы начнутся когда пользователи попробуют прописать свой robots.