Полился потихоньку трафик с моих первых доров :)
По прошествии 2 апов яши возник вопрос:
Яша скушал мало (на мой взгляд) страниц. Сейчас есть 17 доров по 400-500 страниц каждый, все залезли в индекс. Первый ап - в индексе 1-2 страницы, второй ап - 15-100+ страниц. Это нормальная ситуация и можно ли как-то повлиять на более полную индексацию?
+- 1-2 позиции, немного беков в +, в индексе добавилось около сотни страниц
parabelum1, в .htaccess например
## USER IP BANNING <Limit GET POST> order allow,deny deny from *IP* allow from all </Limit>
*IP* - ip адрес того, кому бан
тоже в бан отправил это чудо, и докучи еще 1 такого же: "OOZBOT/0.20 ( _ww.setooz.com/oozbot.html ; agentname at setooz dot_com )"
Отличный ап для моего белого проекта! Немного беков в "+", позиции по НЧ запросам от +4 до +25, 2 запроса в топ 10 :) вернул все что просело с прошлым апом, да еще и в "+" хороший.
Первый яшин ап для моих доров - влетело по 1-2 страницы с дора, в индексе вроде сидят, сегодня даже 1 уник с них зашел :)
Нормально что гугл сожрал мои доры и в выдаче уже по 1-10 страниц с каждого? Беспокоит малое количество страниц в выдаче - реально у каждого дора по 500 страниц, прошло около 10 дней со дня появления доров.
"GoldenSpider/1.0b spider@non-existent.ru"
"Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)"
а это что за боты?
exe2, заключаю, но если бы это сразу делалось, было бы удобнее :)
JakoKruzo,
Хотелось бы HTML строки, которые за это отвечают заключать в <noindex></noindex>
Похоже эта статья про афронет, или как он там называется. Африканские дорвейщики юзают русские старые, неактуальные партнерки (как с военной техникой - сливаем им неликвид).
