Робот-индексатор Яндекса, в плане кэширования, ведёт себя так же, как и браузер
- неизменившиеся страницы он не загружает
- добросовестно присылает дату загрузки страницы, имеющейся у него в индексе
За один заход индексатор Яндекса читает ограниченное количество страниц, поэтому грамотно отдавая LastModified Вы существенно улучшите индексацию новых и переиндексацию изменившихся страниц сайта.
Делить страницу на код и контент (по умному - заголовки и тело документа) - нужно, поскольку контент (тело документа) отдается не всегда и не на все http-запросы, а заголовки с http status-кодом надо отдавать всегда.
Ниже - сегодняшние логи робота Яндекса при переиндексировании сайта. У меня за день робот запрашивает до 2500 страниц, выбирая новые, и отсеивая неизменившиеся с кодом "304 Not Found".
PS: При статус коде 304 контент страницы не посылается, так же как и при 301/302 редиректе.
PPS: Тема LastModified для сайтов в 200 страниц не актуальна - и так всё переиндесируется.
Не факт, есть ещё поиск Рамблера.
Садовскому тоже так кажется: если ваш сайт сместился ... с тридцатого на тысяча восьмое – ничего не значит. Колебания за пределами первой двадцатки-тридцатки – можете не рассматривать, как изменение отношения к сайту
Влияют, особенно заметно на PR.
Распознают (Яндекс help: при расчете ТИЦ не учитываются ссылки с форумов...) и отфильтровывают, но не всегда успешно.
Так всё-равно ж заБАНят или заАГСят, только чуть больше бабла срубить удастся за предБАНный период.
Вообще, эта идея времён 2006 г, и хорошо работала когда каталоги давали ТИЦ.
На домен ставился "телевизор" (прокси на php), который тупо показывал чужой сайт. Наиболее продвинутые - кэшировали страницы у себя, чтобы постоянно не дёргать чужой сайт.
Домен прогонялся по каталогам и получал ТИЦ, потом на него вешались 10-20 страничек и получался нормальный сателлит (который просто так в каталоги бы не приняли, ибо ГС).
Сейчас это в таком виде юзать нерентабельно.
PS: Если Вы чуть подумаете - возможно сообразите как усовершенствовать эту идею так, чтобы БАН и АГС был по-барабану.
Webeffector предложил: неизвестно как, но работающую методику скупки сцылок, так что соотношение эффективность/затраты оказалось на порядок лучше чем у конкурентов|сап|... . . . . Матрикснет++ всё компенсировал... в интересах своих пользователей. Эффективность Webeffector’а снизилась до разумной.
А теперь замкните этот круг состязания брони и снаряда. Нормальный путь эволюционного развития по Дарвину.
И ничто не мешает уйти к конкурентам на любом эволюционном этапе :)
Вся разница - либо Вы один на один с ПС и используете свои знания и опыт, либо против ПС выступает опыт и знания Webэффектора.
На самом деле подвох в другом (не только Webэффектора, а всех систем автоматического продвижения).
ТОП10 могут занять только 10 оптимизаторов, а желающих, на самом деле, больше. Конкуренция приводит к росту бюджетов.
Получается финансовый аукцион за ТОП, который будет проводить самая эффективная система продвижения.
Сейчас бюждеты распыляются по разным СЕО-конторам и фрилансерам, а теперь - будут сконцентрированы в Webэффекторе :)
У этого есть свои плюсы и минусы:
- из СЕО вытеснят непрофессионалов, пионерам станет тяжелее
- у Webэффектора будет серьезная база для анализа изменений ПС
... (далее каждый солит сам по вкусу)
PS: богоносец, ассоциатив со "шпиёном" - это зачот! Так лаконично и наглядно выразить суть.
Единственно, эта философия касается абсолютно всех сервисов, а не только Webэффектора.
PPS: Имхо, у Webэффектора есть отличные перспективы, своя ниша и аудитория потребителей услуг.
По крайней мере, в противостоянии Яндекса и Wolf+Miraj я бы предпочла играть не на стороне Яндекса :)
Будут. Грозит.
В топике по большей части рассматривается один аспект - уплата налогов. Второй аспект - незаконная предпринимательская деятельность упомянут только вскользь.
А санкции там похлеще, и даже то, что Вы, например, платили налог 13% как физлицо - значения не имеет, посколку Ваша деятельность была незаконной.
1. Для управления кэшированием на стороне клиента существует только заголовки LastModified и ETAG (изменение несущественной части контента страницы). Все остальные заголовки не позволяют нормально управлять кэшированием.
2. Роботы Google и Яндекс поддерживают LastModified, и игнорируют остальные заголовки, связанные с кэшированием.
3. Просто отдавать LastMidified недостаточно - надо обрабатывать запросы If-Modified-Since и If-None-Match и грамотно возвращать статус код "304 Not modified" или "200 OK". Иначе кэширования на стороне клиента не будет.
Если Вы плохо понимаете как и на что надо отдавать LastModified - лучше этого не делать, тк в случае ошибки можно поиметь проблемы с переиндексацией страниц.
PS: Отдавать на If-Modified-Since текущую дату можно, но это бессмысленно.
Ключевое слово в посте AdvertBR - "поставил сегодня" - поэтому гипотеза одна: просто робот Бегуна ещё не проиндексировал сайт.
PS: Бегун - хорошая штука, если его "правильно приготовить". Судя по постам - рецепт знают немногие MFA-шники :)
Аналогично, только
- ПС определяются по IP (nslookup запрашивать долго).
- Слишком много страниц за раз - в первый раз банится на часок.
- скрипты-парсеры банятся сразу и навечно.
PS: Осторожнее, сейчас Яндекс при проверке на клоакинг использует "Корбиновские" IP.
