Сколько времени прога ждёт открытия страницы, прежде чем посчитает ссылку битой?
Чем угодно, полно бесплатного софта. Делаешь холст нужного размера, и собираешь на нём части картинки как пазл - копируешь на него и двигаешь. Потом сохраняешь, готовую картинку.
Приверка на кей в гугле у всех нормально работает, без доп параметров? У меня что-то начинает и стопорится через какое-то время. Остановишь, запустишь начинает, потом снова останавливается, или не начинается вообще. По яндексу тоже что-то новая строчка раз в 10 сек добавляется, при том что прокси зелёные на обе ПС, 120 штук примерно, 60 потоков стоит и задержки 10-15 сек.
Ерунда, как раз для парсинга выдачи ПС проблема прокси найти, слишком много желающих. потому у них и задержки с парсингом - наверняка используют xml, а там тоже проблема и медленно и каптчи встречаются + расхождение по позициям. Парсить Ли на порядок проще - неск запросов в сутки для каждого сайта, а не тысячу.. Т.е. вариант мой дешевле им стоить будет.
Можно ли ключи не добавлять? Если проект НЧ, то почём знаешь по каким ключам выйдешь в выдачу, и ключи и трафик по ним могут отличатся от тех под которые стрраницы заточены. А потенциальных может быть много тысяч.
Может, как-то подключить вам стату лайвинтренета по сайту, вы будете раз в час через прокси обращаться к экспресс аудиту и считывать оттуда все поля или экселевский файлик скачивать. там 100 последних IP видно - значит если раз в час обращаться, то 2400 посещалка в сутки будет считана. Многим и раз в 6 часов хватит.И будет полный расклад виден:
- на какую страницу переход был
- по какому запросу
- география посетителя
- из какой ПС
- дата и время посещения.
- позиция в выдаче ПС
Чтобы можно было сразу открыть сраницу в ПС с которой перешли в выдаче. А парсить выдачу будете по тем ключам, которых не будет в этом списке и объём сократится парсинга и точнее будет.
Я знаю, так и делал. Но было бы удобнее это делать сразу в программе с автопроверкой на дубли сразу.
Играл раньше неск раз в Rise of Nation на компе, тоже самое можно за неск часов пройти от нуля до армагеддона.
Вот скажем проверил я в программе ключи на корректность словоформы. Те что Нет - как можно их все разом исправить? А то их неск тысяч штук может быть. Выделил - но всё равно исправляет только по 1 штуке.
Nina, автодоскан не рекомендую включать сразу перед сканированием, у меня как раз это ошибки вызывало.
Ага! В 1.8 всё было нормально в этом плане.
У меня начался такой же беспредел как и у Nina. Как уже говорил, закрывал программу вчера утром, а потом запустил заново - без удаления проекта и видно зря. Надавно скан завершился, заняв в 2 раза больше времени. В конце выдал такую ошибку:
[ATTACH]116774[/ATTACH]
После чего программа закрылась. Открыл заново - смотрю результаты - пусто - нули везде нарисованы, открываю страницы - там - все страницы в 2-х экземплярах обычная и с rss😡 ну ладно, вспомнил ваш совет Nina - нажал скрыть закрытые. Они скрылись, но число страниц осталось прежним - только они стали идти не по порядку, а перескоками, так как половина стала невидна. И понять сколько реально страниц осталось оказалось невозможно, сортировка по номерам ничего не дала. Ну думаю, чёрт с этим. Сделаю карту сайта..., примерно знал сколько страниц должно быть на сайте. Указал число ссылок на странице, указал сохранить - и страниц оказалось вдвое больше. Так как в карту сайта вошли и все rss ссылки, в перемешку с обычными😡
Не надо вообще сканировать то что закрыто. Веса считаются по тем страницам что будут в индексе, а не всем что есть на сайте. А то что закрыто в индексе не будет.
