Форум Поисковые системы Google

Google не слушается robots.txt

12
Anderew
На сайте с 06.03.2010
Offline
125
Anderew
#11

Пример роботса:

Сайт на Joomla 1.5.

User-agent: *
Allow: /images/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/*
Disallow: /component/search/
Disallow: /component/content/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*print=1
Disallow: /*/*-*
Disallow: /404
Host: ***.com

User-agent: googlebot
Allow: /images/
Disallow: ЗДЕСЬ ПРОПИСАНЫ ВСЕ СТРАНИЦЫ ДУБЛИ 250 шт. (для верности)
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/*
Disallow: /component/search/
Disallow: /component/content/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*print=1
Disallow: /*/*-*
Disallow: /404

Sitemap: http://***.com/sitemap.xml

Сегодня ещё с пару десятков страниц попали в индекс Гугла.

---------- Добавлено 03.05.2012 в 07:12 ----------

sergey885:
через вебмастертулс удаляйте нужные.
с не нужных делайте 301-ые на нужные

А если не нужных стр. более 1k?

---------- Добавлено 03.05.2012 в 07:13 ----------

iren K:
угу,и теорией тоже,особенно это:

Так вот что оно? У меня когда Тиц поднялся, так и началась эта конетель. Хотя у меня есть совсем молодой сайт на WordPress, внешних ссылок 2, страниц на нём всего 41 в Яндексе тоже 41, а в Гугле аж 1,520.

Спорим, мощней и дешевле VPS не знаешь? http://www.ihc.ru/?ref=2920
Как поступит яндекс как добавить сайт в Рост ТИЦ сайта без
genjnat
На сайте с 08.10.2008
Offline
230
genjnat
#12

Такая же проблема, изначально закрытые в роботс страницы лезут в индекс, и нечего с этим не поделаешь.

1000 страниц удалять вручную конечно гемор, но в ВМ есть функция – удалить каталог, вот ее и юзайте.

Facebook запускает новый инструмент В Яндекс.Диске появилась возможность Google+ удалит закрытые профили
novotex
На сайте с 07.02.2012
Offline
69
novotex
#13

Можно ещё зайти в Вебмастер/конфигурация сайта/параметры URL и там настроить.🍿

Если ты новичок знай,что опыт ты найдёшь здесь Задание Бок-О-Бок (https://toloka.yandex.ru/promo?referralCode=ZB7JIERB)(смотри код сайта в задании, если вапще туп) Заказывай тариф на хостинг (https://www.reg.ru/?rlink=reflink-52081) как я здесь, более 10 лет.
Anderew
На сайте с 06.03.2010
Offline
125
Anderew
#14

Подскажите!

Проверяю проиндексированность сайта в Гугле (site:сайт.com)

На первой странице показывает:

Результатов: примерно 1 100

А на последней старнице:

Результатов: 193, страница 20

И везде, где в системах добавлен мой сайт, например, в ротапосте показывает 1000 стр. с лишним в индексе Гугла, а на сайте всего 250 стр., в Яндексе тоже 250 стр. и это создаёт мнение, что мой сайт под АГС.

В связи с тем, что Гугл игнорировал robots.txt я в ручную поудалял весь мусор через веб-мастер (удалял более 2-х недель назад) и поэтому лишних ссылок в индексе я не наблюдаю, но цыфра осталась прежней 1 000.

Яндекс сократил количество результатов Александр Садовский на конференции Sistrix значительно расширил свою
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий