Разнести все по разным таблицам - это светлая идея, на мой взгляд. Только 2.5 млн записей - это легкий тест. В продакшен будет намного больше. Если дойдет до этого... Так что хочу сделать все, чтобы максимально оптимизировать все.
Ещё раз - вы ищите по большому, неупорядоченному списку. Естественно, это тормозит.
Достаточно здравое решение - предварительно записать этот список в таблицу с индексами и сделать выборку через INNER JOIN.
Илья Артурович: И все-таки АПдейт. По страницам пока без движения, а вот ссылок прибавилось на всех проектах. Только очень странно, появились даже те ссылки, которые брал в пятницу-субботу (20-21 февраля). Раньше такого не наблюдал.
Ага, теперь вижу. Было 2млн., а стало 10
А почему проверять нужно за вчера (23.02), а не за сегодня http://yandex.ru/yandsearch?text=date%3A20150224&lr=213&suggest_reqid=208335209142192500582566511188208&csg=334%2C728%2C13%2C2%2C0%2C0%2C0 ?
И как узнать по какую дату обновился индекс?
Проверять надо за все даты, с предыдущего обновления индекса. Там, где скачок индексации - там и будет новая дата обновления.
выложен индекс по 16 февраля 2015 <-- вот это откуда?
Это глюк tools'а из-за того, что Яндекс обновил три последних дня, не обновив предыдущие.
Что-то новенькое. Можно ли считать ли это апдейтом, станет ясно к утру.
Заработал :) пиши как есть играл и выиграл.
И, желательно, уже после вывода средств ;)
А откуда берутся данные о количестве страниц?
Вот эти:
Где вы их смотрите? http://yandex.ru/yandsearch?text=(lang%3Aru%20%7C%20lang%3Auk%20%7C%20lang%3Aen%20%7C%20lang%3Ade%20%7C%20lang%3Afr)%20date%3A20150223 ?
tools-то по Yandex.XML смотрит. А вы - просто сотрите глупости в начале запроса и читайте в строке поиска:
http://yandex.ru/yandsearch?text=date%3A20150223&lr=2
http://yandex.ru/yandsearch?text=date%3A20150222&lr=2
и т.д.
Разнести все по разным таблицам - это светлая идея, на мой взгляд.
Только 2.5 млн записей - это легкий тест. В продакшен будет намного больше. Если дойдет до этого... Так что хочу сделать все, чтобы максимально оптимизировать все.
Ещё раз - вы ищите по большому, неупорядоченному списку. Естественно, это тормозит.
Достаточно здравое решение - предварительно записать этот список в таблицу с индексами и сделать выборку через INNER JOIN.
Extra: Using where
Ну понятно, "IN" - поиск по большому неупорядоченному условию ему не нравится.
Попробуйте вариант /ru/forum/comment/13525993 - вполне возможно, что это решит проблему.
seopult.ru ошибаются
Тоже 00:00:00
Теперь понятно, что там за алгоритм и чей :)
А вы что, не можете сами проверить? Я же даже дал ссылки для ручной проверки.
И все-таки АПдейт. По страницам пока без движения, а вот ссылок прибавилось на всех проектах. Только очень странно, появились даже те ссылки, которые брал в пятницу-субботу (20-21 февраля). Раньше такого не наблюдал.
Ну так: http://yandex.ru/yandsearch?text=date%3A20150223&lr=2
Персональная какая-то индексация к празднику) Что-то новое в Яндекс.
Тем не менее, это не апдейт в классическом смысле.
http://yandex.ru/yandsearch?lr=2&text=date%3A20150216
dlyanachalas, ну я вижу страницы по одному проекту новоые. Остальные тишина.
Страницы каждый день добавляются. Ап - это как в раз когда массово.
в 00 00 очень странно =)
Не странно, если знать, как устроен tools.promosite.ru "Проверка апа Яндекса раз в три минуты до 9 утра, позже - раз в час."
Вероятно, Яндекс целый день что-то там куролесил, а в 0:00 сменился алгоритм анализатора апдейтов, вот он и сработал.
Т.е. это не ап, а отголосок вчерашних небольших изменений