Карта есть, берешь Content Downloader и парсишь страницу с пагами.
Вот это отличное замечание, спасибо!
Делал sql все доры абсолютно.
Итог 23.08.15
Отчета не будет сегодня, покупал еще места для новых доров т.к. на старом VDS уже кончается. Соот-но доров сегодня не делал.
Поясни, а то мы с летучей мышью не разбираемся в кодах.
При большом числе доров по-моему не актуально.
Да, двоякая, так сказать, ситуация)
С одной стороны индекснуть не может, с другой - бан айпи при ускоренном парсинге.
В автодоре отсутствует возможность парсинга с левых ипов.
Autodor - удобный и простой, еще есть Seodor, но он оч тяжелый по нагрузке и использованию, поэтому я его не юзаю.
Нечем лепить статику.
Чет маловато (в пределах нескольких сотен), причина в том, что паги генерятся в момент обращения к ним бота. Соот-но бот не может без проблем облазить весь сайт сразу. А значит проиндексировано все не может быть с полпинка. И это проблема, как мне кажется.
Индекс смотрю, на мой взгляд чистый рандом из причины, вытекающей в моем предыдущем ответе. Нужно что-то, что поможет завлекать ботов на доры почаще.
Большой отчет будет в самом конце августа, там приложу сравнение про разницу страниц и индекс.
Спасибо, кэп, как всегда прав.
Итог 22.08.15
Пачка #27 готова. 2 шаблона, 25 доров, по 48к кеев на дор (общая база 98к).
не месяц, с 3его августа. по деньгам успехов пока нет, хотя сетки вылезают периодически.
1) думаю отобьется, важно пилить на постоянной основе.
2) не фрихосты, vds.
3) решает технически сложные задачи, делает задачи очень быстро, дешевле нанять его.
не шучу, в кредит работает )
