SergoZD

Рейтинг
63
Регистрация
17.08.2005

SEO.Slash, ну это да. Просто если ещё не много сделал - лучше сразу с базой делай и возможностью толкового вывода данных.

Мне вот уже полгода почти никак не взяться за переделку =)

Про бан за это скрипт все обсусолили в той теме, на которую я как раз ссылку приводил.

SEO.Slash, ага, я тож =)

Зы. Я вот давно такой скриптик написал для своих нужд, но одно но смущает спустя некоторое время. У меня все данные выдаются на экран в виде таблиц. Ты так же делаешь, или с использованием mysql?

Просто при наличии десятка сайтов, которые этим скриптом смотреть, уже после 5 проверки задалбываешься ячейку за ячейкой копировать данные в excel.

Ведь делается это, чтобы сохранять данные и потом анализировать тенденцию, а не один раз глянуть и закрыть правда?

А я отвечу- вы специально и сделали этот Bar для того чтобы отслеживать на каких ресурсах бывают оптмизаторы...

А вот вы скажите мне, зачем им делать программу, которую будут все пользовать, а им от этого ноль толку.

NetPromoter - это ж не какой-то опенсурсный бесплатный проект, они предлагают вам приобрести два продукта - Page Promoter, который ничего никуда слать не будет, но вы за это заплатите денег, либо Page Promoter Bar, бесплатный - да, но за его использование вы платите им информацией о посещаемых ресурсах.

Если не нравится ни тот вариант, ни другой - не используйте их продукты просто.

если страницы хранятся в базе и имеют свой уникальный id - единственно верный вариант - добавить дополнительное поле, в котором хранить дату последней индексации роботом.

Но, на мой взгляд, робот одну и ту же страницу не так часто запрашивает, чтобы делать подобную проверку (на крупных сайтах, на мелких таких проблем в принципе стоять не должно), поэтому считаю наиболее эффективным с точки зрения затрат/результата именно что при превышении определенной нагрузки от яндекса вместо какого-то процента страниц выдавать 304 отклик.

А историю изменений можно? Что нового появилось по сравнению с прошлой версией, чё-т на сайте не нашел инфы.

Меня тож вопрос заинтересовал. Написал им в саппорт.

БЫл на днях случай, что индексирующий робот пришел на сайт и стал сканировать новые страницы с частотой примерно одна страница в пару секунд. Это вызвало достаточно серьёзную нагрузку на сайт. Существует ли возможность задать для робота при необходимости минимальный интервал между индексацией новой страницы?

Была мысль сделать фильтр и при обращении чаще раза в 10 секунд выдавать 204 или 403 отклик, но при этом страница, которая выдала такой отклик скорее всего выпадет из индекса.

Как поступать в такой ситуации?

Правда очепятался в письме, имелось ввиду 304 а не 204.

Сеня пришел ответ.

Наш робот не может вести себя так, как Вы пишите. Возможно, это был кто-то другой, замаскировавшийся под робота Яндекса.
В общем случае роботу можно отдавать 304, если страница не изменялась с последнего запроса ее роботом.

Правда ипы ихние были, ну да не в этом вопрос =)

Суть в том, что если яндекс нагружает сайт, можно для яндекса выдавать вместо страницы 304 отклик, что, как я понял не приведет к последствиям, кроме как если страница обновилась недавно, изменения не учтутся в выдаче.

В каждом конкретном случае остается лишь решить вопрос, как следить за тем, произведена ли модификация запрошеной страницы страницы с прошлого захода бота, или нет.

Или более просто вариант, если количество запросов яндекса превышает заданный для определенного промежутка времени, первому запросу отдавать страницу, а остальным за этот промежуток отдавать 304 отклик.

В питере на новочеркасском от метро к мосту с одной стороны стоит ряд хрущевок, так там прошлым летом скупили почти всю площадь на первом этаже, выходящую на проспект и достаточно оперативно переделали их в магазинчики. Но честно говоря я жил не совсем там, просто со стороны наблюдал процесс продажи и переделки этих помещений.

Зы, сорь за офтоп, конкретики какой-то подсказать не могу.

UMDS, местами есть =)

Вот я когда в Ебурге был по делам, там у мегафона было введено тестирование GBRS-услуг, предоставлялось вообще бесплатно, но без гарантий =)

Так я в нете через wap-gprs сидел целый месяц. Потом уехал обратно в Питер...

CatRegist, тариф "яичный"? =))

Всего: 963