Индексация мусора

123
B
На сайте с 15.03.2013
Offline
3
#11
dijes:
А я удалял с гугла и он всё равно хавает в индекс, сейчас в яндексе что то нахавало.
Что за плагин, что он делает?

Закрывает ненужные категории, теги, страницы, медиа файлы, записи с помощью Meta Robots.

Плагин хорошо описан и полностью русифицирован.

SmileP
На сайте с 18.02.2010
Offline
386
#12
orka13:
В последнее время оптимальное через метатеги закрывать индексацию, а не самым Robots.txt

Почему? При корректном роботсе роботу может не заходить на страницу, а если стоит метатег он её должен посетить, чтобы понят, что её рекомендуют не включать в индекс.

orka13
На сайте с 28.03.2011
Offline
102
#13
SmileP:
Почему? При корректном роботсе роботу может не заходить на страницу, а если стоит метатег он её должен посетить, чтобы понят, что её рекомендуют не включать в индекс.

посетит, но не будет загружать, увидев метатег, и сканировать ее будет реже в будущем. Ну да, если с точки зрения нагрузки на говнохостинг, на котором крупные сателиты, то оптимальное решение – Robots.txt. Но в нашей теме увы, это не прокатит. Так как много случаев, когда в индекс влетают закрытые странички в Robots.txt, когда на них проставить прямые ссылки.

Продажи шаблона Google-Translate (Гугл Переводчик), скорость: 20 млн ключей/час, с прокси, без API. (http://zennolab.com/discussion/threads/prodazhi-shablona-google-translate.43684/) Переводит ключи, статьи, HTML+PHP файлы (целые сайты, доры) с сохранением верстки!
B
На сайте с 15.03.2013
Offline
3
#14
SmileP:
Почему? При корректном роботсе роботу может не заходить на страницу, а если стоит метатег он её должен посетить, чтобы понят, что её рекомендуют не включать в индекс.

Если не посетит, не даст пузомерок.

[Удален]
#15
dijes:
User-agent: YandexBlog
Disallow:
Allow: /*

а вот эти строчки что делают? :)

B
На сайте с 15.03.2013
Offline
3
#16
burunduk:
а вот эти строчки что делают? :)

Сигнал боту что можно читать все, но он кроме фидов все равно не чего не читает.

[Удален]
#17
BPBRoman:
Сигнал боту что можно читать все, но он кроме фидов все равно не чего не читает.

я бы на это честно говоря не рассчитывал, впрочем как и на любые правила в роботсе - это рекомендация и не более ;)

SmileP
На сайте с 18.02.2010
Offline
386
#18
BPBRoman:
Если не посетит, не даст пузомерок.

Стат вес передается или текстовое или и то и то со страниц вне "видимого, проверяемого" индекса?

S
На сайте с 28.10.2005
Offline
319
#19

Между секциями нету что-ли у вас пустых строк?

B
На сайте с 15.03.2013
Offline
3
#20
SmileP:
Стат вес передается или текстовое или и то и то со страниц вне "видимого, проверяемого" индекса?

Точно не уверен, но думаю, что со страниц закрытых в роботсе не чего не передается, как и на них. Года пол назад на seomoz говорили что роботс может убить внутреннею перелинковку.

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий