LiteCat

LiteCat
Рейтинг
240
Регистрация
03.05.2007

Новый сайт? Ждать, а вообще -

- добавить sitemap

- проверить внутреннюю перелинковку

- проверить по логам, как часто бот сканирует сайт.

- в вебмастере "индексирование - страницы в поиске". Покажет, если страницы

признаны недостаточно качественными

Мой совет - медленно, но верно собирать blacklist с ip (можно и диапазоны целые включать). Или искать иные закономерности. Трудоёмко, долго, но единственно верно

cblcg:
А куда на сервере надо смотреть чтобы увидеть этого яндекс-бота, а то чую в этом причина нагрузки наверно или возможно в других каких то ботах.

В логах искать "YandexBot", а потом проверять их IP - бывает, что парсеры и прочая нечисть маскируется под их User-Agent

На интернет-магазин (где даже нет раздела новостей) пошёл небольшой траф с zen.yandex.ru. Кто-то сталкивался? Растолкуйте, не в теме))

PS: весь трафик на 100% органика, директа нет

И даже по офисам ходят. Конторы, которые берут деньги за добавление в справочник, директ и прочее))) шлите нафиг

Если бы она была, то было бы верно

ИКС = посещалка * k

однозначной нет, но зависимость есть, видимо она прямая при прочих равных условиях, но это не единственный фактор

Mr.Friction:
Я пробовал перевести, но после надписи "Примерно 1800 000 строк" как-то передумал.
да и щиталка по 8 сек отрабатывала а в MyIsam за 0,6

В списке таблиц может показывать примерное число записей, но с COUNT(*) и SQL_CALC_FOUND_ROWS - всё ок

Mr.Friction:
У меня базы по 5-8 гигов (памяти что говна....) индексы в памяти висят, но вот как всю базу в память? Типа сделать тип таблиц мемори?, и потом по крону на диск сбрасывать, чтоб не было ахтунг или как?

У меня есть проект с базой на 40+ ГБ, RAM сервера - 64. Сделано InnoDB с кешем 40 гб, почти вся база попадает в RAM и работает оооочень быстро

---------- Добавлено 07.01.2019 в 23:26 ----------

LEOnidUKG:
Достаточно сделать InnoDB и выделить достаточный innodb_pool

Да-да, именно это

Если Яндекс умел бы 100% отличать накрутку ПФ, он бы не наказывал - а просто бы не учитывал эти переходы.

Сейчас сервисы уйдут в сторону того, что будут просить посторонних людей на улице за небольшое вознаграждение или бесплатно что-то ввести и клацнуть, как такое определишь? Даже критерия нет. Боятся, вот и банят, чтобы отбить желание

1. VPS/VDS, база на 100% в памяти, кеш. Лучше самописный движок

2. Ограничение нагрузки ботом, не сразу, но сработает

Первое - предпочтительнее

PS: была атака, когда боты/парсеры маскировались под Яндекс - проверьте IP, может и правда. Тогда всё элементарно - блокировать по IP или иным признакам

Всего: 1962