Второй посмотрел - тоже нету в роботс запрета, но есть сам файл роботс, вы проверяете его наличие и за счет этого сразу отбрасываете?
Скармливание я так понимаю второй этап какой-то? Добавление в аддурилку - это оно?
IndigoMan добавил 29.11.2010 в 08:28
Закрыты они я так понимаю через robots.txt ?
IndigoMan добавил 29.11.2010 в 08:35
А почему, например, этот не подходит?
robots.txt - там у ничего не закрыто от индексации.
в исходнике HTML я не нашел ни noindex, ни nofollow, каким образом профили закрыты от индексации у них?
1 тиц50, як, домен 2006 г.
2 тиц120 як 2006 г
3 тиц240 2006г (Оо опять)
нашел по одному запросу в яндексе, я правильно понял стратегию?
Я понял логику, спасибо.
Да не нужны мне ваши наработки, просто пример дайте и все, или подскажите что сделать, куда копать асфальт.
Спасибо, ваши успехи вдохновляют, можно пример запросов?
Это все конечно хорошо, я и сам смогу допереть со временем как надо собирать такую базу, но я для этого сюда и написал в "вопросы новичков" чтобы мне подсказали и я смог это осуществить не наступая на грабли, а вы теперь говорите что те посты 2008-2009 неактуальны, а что тогда актуально?
Спасибо за DoFollow - новое понятие для меня.
Отлично, но я уверен что есть некоторые хитрости которые помогут меньше времени тратить на поиск подобных сайтов, хотя бы намекните.
Да, можно.
