Чтобы вывести из под фильтра - надо показать яндексу новый хороший контент, просто так он на сайт не пойдет, тут нужен хороший акк вот он просто подталкивает яшу глянуть сайт.
Могу 1 акком загнать быстроробот на любой (почти) сайт.
Буквально на днях вывел 1 хороший домен из под фильтра, сейчас буду дальше эксперименты ставить.
Еще один сказочник про "акки с быстророботом" Ну не смешите народ. Акк должен быть в индексе и в рейтинге, а посты осмысленные и регулярные, да и с ссылками на РАЗНЫЕ САЙТЫ, а не ежедневно долбать один и тот же ГС. Даже у Яндекса терпение может кончиться.
А если я приведу примеры, где все ссылки на 1 сайт, в каждом посте и такой аккаунт загоняет быстроробота и способствует выводу из под АГС?
Значит контент там весьма активно (теоретически) генерируется и новые страницы должны активно появляться. Карту надо частенько создавать, чтобы актуальность поддерживать.
Второе:
Сайт большой - значит база большая, бот будет грузить по полной, в данной ситуации гораздо лучше все стандартный функционал задействовать, чтобы минимизировать нагрузку.
Третье:
Не вижу вообще никаких проблем, что 10 страниц, чтобы 100к страниц, БД буде чуть больше просто... потом все равно всё удалиться.
Четвертое:
Данное решение было создано, потому что надо было мелким сайтам быстро сделать карту сайта, стандартные генераторы не подходят, потому что в ограничения не вписались, гуглеж адекватных скриптов не выдал,..
Вот написал, теперь что добру продавать - можно ведь и людЯм раздать )
Ну и деньги, естественно, смешное за такое просить.
Тут я бы поспорил немного...
Предположим пошел спрос на халяву, нагрузка растет весьма неплохо, на обычном хостинге такое не разместишь и всегда есть некая группа лиц, которые захотят на чужом бесплатном заработать, потому по-другому как надо сделать, пока не знаю.
у твиттера 2 цели основных.
1. Загон быстроробота
2. Улучшение индексации
есть и более сложные цели в виде трафа и неких манипуляций, но они тут не в тему.
Так вот 1 хороший акк вполне справляется с этими целями (у меня по крайней мере), даже на большом количестве сайтов в работе.
Мы не берем в расчет промышленные масштабы.
Что-то я наверно от жизни отстал, от трендов новых....
Но я все делаю 1 акком.
читателей там 3500+ всего (все боты или ru_ff)
Не совсем понимаю эту мысль.
Если сайт очень большой, то чтобы не было утечек (расхода) памяти не нужных, стоит хранить где-то промежуточные результаты.
БД оптимальный вариант (memcache ещё и аналоги).
Просто лазать по 1 странице несколько раз не рационально.
bay_ebook, все обсуждаемо в этой жизни )
способствует выводу из под АГС
Чтобы вывести из под фильтра - надо показать яндексу новый хороший контент, просто так он на сайт не пойдет, тут нужен хороший акк вот он просто подталкивает яшу глянуть сайт.
Могу 1 акком загнать быстроробот на любой (почти) сайт.
Буквально на днях вывел 1 хороший домен из под фильтра, сейчас буду дальше эксперименты ставить.
А если я приведу примеры, где все ссылки на 1 сайт, в каждом посте и такой аккаунт загоняет быстроробота и способствует выводу из под АГС?
агамс, я люблю заранее закладывать масштабирование и перспективы.
БД нужна, для более быстрой и удобной проверки "проверяли эту страницу или нет".
Хотя можно и на файлах решить, в принципе, но БД привычнее.
20 строчек кода ))
открыли, регуляркой прогнали, в массив засунули, в конце array_unique и в файл )
Это - простая версия, для более качественной, нужна БД.
Для хистори, более глубокого анализа, распределения нагрузки
Ничего не надо делать
единственное лимит времени, чтобы снимался (почти везде есть) + curl (вообще везде должен быть)
Давайте рассуждать здраво.
10к+ = крупный сайт, портал, форум.
Значит контент там весьма активно (теоретически) генерируется и новые страницы должны активно появляться. Карту надо частенько создавать, чтобы актуальность поддерживать.
Второе:
Сайт большой - значит база большая, бот будет грузить по полной, в данной ситуации гораздо лучше все стандартный функционал задействовать, чтобы минимизировать нагрузку.
Третье:
Не вижу вообще никаких проблем, что 10 страниц, чтобы 100к страниц, БД буде чуть больше просто... потом все равно всё удалиться.
Четвертое:
Данное решение было создано, потому что надо было мелким сайтам быстро сделать карту сайта, стандартные генераторы не подходят, потому что в ограничения не вписались, гуглеж адекватных скриптов не выдал,..
Вот написал, теперь что добру продавать - можно ведь и людЯм раздать )
Тут я бы поспорил немного...
Предположим пошел спрос на халяву, нагрузка растет весьма неплохо, на обычном хостинге такое не разместишь и всегда есть некая группа лиц, которые захотят на чужом бесплатном заработать, потому по-другому как надо сделать, пока не знаю.
Пользуясь случаем хочу передать привет маме
Тоже, может кому пригодиться, для таких параноиков как я сделал )