- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
и как думаешь как много таких сайтов?
Если я правильно понял бот должен делать подбор линк ай ди? это займет в тысячу раз больше времени чем обычный паук.
нет зачем ему делать подбор? последний id ссылки есть у него в базе - и он просто смотрит на ответ header - на следующий id
А времени это займет в миллион раз меньше - так как пауки никуда не могут деться от регулярных выражений при анализе страниц - составления алгоритмов посещений и т.д. - зачем это все надо если достаточно просто иметь маленьку табличку с МГС и 1 лишь полем last visited id )?
Смотри - а если прикинь что есть сайты которые выдают свои линки по ID? например site.ru/link.php?id=12584, ему даже не надо бегать по сайтам - он просто ищет конец нового индекса каждый день и все. Я когда писал робота для индексации новостей - я так и делал - мне кажется вполне разумное решение?
да.. а если еще он в ответ получает 304 Not Modified с тех страних которые не изменялись, то тогда нах их вообще индексировать, отсюда и увеличение скорости индексации нужных страниц..
PNikolai добавил 14.07.2009 в 23:32
новый сайт для прогона с таким трафиком лучше не губить, а вот порнуху и кликандера убрать как класс, исключить возможность того, что Яндекс обиделся на исключение его в php кодах и попробовать подождать новых позиций, если сайт вернется тогда все понятно ☝
кликандера в первый же день убрал, а вот насчет класса еще под вопросом.. можно было бы так сделать и убрать css в закрытую от индексацию папку в robots.txt, но тут пишут что яндекс не смотрит на robots.txt и заглядывает куда ему вздумается.
и интересно как яндекс мог обидеться на его исключение если он за это не может быть в курсе? он не получал запрета на Allsubmiter-каталог просто он ничего в нем не видел получая при этом отклик 200. php коды думаю посерьезней будут чем классы
посмотрел логи за двое суток, не один поисковик не получил полноценной страницы из Allsubmiter-каталога..
еще один интересный момент, имеется два одинаковых варезника по 80к страниц, одна и таже база одни и те-же ссылки один и тот-же хостнг только шаблоны и айпишники разные(выделенные). Один сайт постарше второго месяцев на 8 и имеет PR4, ТИц120. Второму два месяца, вобщем для быстрой индексации я со всех ссылок первого сайта header-ом отправлял на те-же ссылки второго. В результате чего пошел прирост посещаемости второго. Через месяц два дня назад их разьеденил, сегодня глянул и чуть со стула неупал. На первом за сутки добавилось 600 уников, а со второго почти столько убавилось. Мне кажется что PR и Яндекс Rank с другого сайта который повышает авторитетность через два дня после отвязки ничего уже не дает. Отсюда можно сделать вывод что и говно сайты с которых идут обатные ссылки так-же могут понизить авторитет за два дня.