google игнорит robots.txt

через вебмастерскую панель

Каким образом? Можно пожалуйста поподробнее...

www.google.com/webmasters/tools/

там есть подробный хелп

проиндексировал - значит занес в индекс и вы можете видеть кеш страницы

в данном случае в кеше нет тех страниц которые закрыты в robots.txt, а значит они не проиндексированы.

при запросе

http://www.google.com/search?q=site:irontool.ru&hl=en&start=390&sa=N&filter=0

гугл показыввет просто вам, что он знает эти адреса страниц, но это не значит, что содержимое этих страниц занесено в кеш

ахтунг. заносить в индекс и показывать в серпе - разные вещи.

Индекс и кеш - разные вещи.

По теме: В вебмастерской есть ручное удаление урл-ов, закрытых в роботсе...

Друзья! Я конечно понимаю, что вы Кандидаты наук и Профессора, но я, всего лишь студент:)

При проверке сайта через site-auditor выясняется, что у меня проиндексированно 1400 страниц...Хотя у меня явно не должно быть такого количества, учитывая требования robots.txt...

Хотелось бы выяснить, нужно ли с этим что-то делать?

Друг!

При проверке через инструмент "ВасяПупкинСамыйШоНинаестьКрутой Способ Проверки" выяснилось, что у меня проиндексировано 18 миллиардов страниц. Надо ли мне удалять их все вручную, или пусть будут?

Вы можете также через htaccess убрать редирект дублей одной и той же страницы на основной ее адрес:

Options +FollowSymLinks

RewriteEngine on

RewriteCond %{HTTP_HOST} ^site.ru

RewriteRule (.*) http://www.site.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/

RewriteRule ^index\.html$ http://www.site.ru/ [R=301,L]

либо просто отключить сессии:

php_flag session.use_only_cookies On

php_flag session.use_trans_sid Off

- но это варианты для тех, кто не ищет легких путей..))

Да уж, не из легких:)Спасибо большое за внимание:)

Всё же возникает вопрос "оно того стоит"? Есть ли смысл мне всё это прописывть или в принципе, в моей ситуации нет ничего страшного...

papajoni добавил 25.05.2010 в 10:42

Зачем только по клаве стучали??? Юмором блестнуть что ли🍿

Сказал же, что я новичок в этом деле и мне далеко не всё понятно!