Timen

Рейтинг
181
Регистрация
11.08.2005
Sober:
Вопрос такой: понимает ли Гугл директиву Host в robots.txt?

Нет, Google не понимает... для этого у него есть webmaster tools, где можно, кроме всего прочего, указать основной хост для сайта...

Evochka:

ответ такой:
Запрещена индексация всех URL, начинающихся с указанных префиксов:
/Images/
/configs/
/core/
...
Пока зеркальщик не прошел так оно и будет?

Нет, анализ robots.txt проходит в реальном времени.

Возможно, Вы неправильно прописали основной хост или неправильно проверяете.

Evochka:
между поддоменом и доменом яндекс выбрал первый. Поменяли в robots.txt host: основной домен. Прошло уже 3 апдейта и месяц. ... А расклейки нет... Как поторопить процесс? p.s. все ссылки на основной домен ведут.

Ускорить переклейку нельзя. Да и месяц – это не очень большой строк для зеркальщика…

В принципе Вы все сделали правильно, разве что, еще можно прописать запрет на индексацию страниц зеркала в meta-теге: <meta name="robots" content="noindex, nofollow">. Хотя это и не обязательно.

Кстати, Вашу фраза "все ссылки на основной домен ведут" означает, что все ссылки с зеркала ведут на основной хост или что внешние ссылки стоят на основной хост.

Если второе, то будет не лишним прописать абсолютные ссылки с зеркала на основной хост.

Также, можете на всякий случай, проверить, правильно ли понимает Яндекс написанный Вами robots.txt (для зеркала и основного хоста): http://www.yandex.ru/cgi-bin/test-robots?host=

Для зеркала должен быть ответ: Индексация сервера www.***.ru:80 запрещена полностью

А в целом, остается только ждать.

---

Дополнено:

Кстати, фраза "все ссылки на основной домен ведут" означает, что все ссылки с зеркала ведут на основной хост или что внешние ссылки стоят на основной хост.

Если второе, то будет не лишним прописать абсолютные ссылки с зеркала на основной хост.

smaG:
Видел на сайте одной партнерки Adsense блок, а в правилах написано что эти сайты запрещены. ... для всех экспериментов создать новый акк?

А какой от этого толк? За такое должны и даже нужно банить.

Зарабатывайте честным путем...

Кроме того, Вы действительно считаете, что если зарегистрируете два счета, Google не будет знать об этом?

И не забывайте о следующем: "Веб-издателю запрещается дальнейшее участие в программе AdSense, если его учетная запись была заблокирована из-за нарушения правил программы. "

Scamp:
а как быть юзерам, которые просматривая документ, захотят его распечатать?

Я ведь написал: 1. Сделать новый адрес для «версии для печати».

Taraskas:
"версию для печати", а Гугл просканировал все страницы только в такой версии. Вот думаю поставить переадресацию с версии для печати на исходную. В Гугле 18500 страниц. Как отобразится на индексации такая переадресация, ведь это все страницы нужно ставить в переадресацию.

В любом случае это Ваша ошибка, что не закрыты от индексации страницы версии для печати.

Один из вариантов – это:

1. Сделать новый адрес для «версии для печати»

2. Закрыть новый адрес версии для печати от индексации через robots.txt или meta (<meta name="robots" content="noindex, nofollow">).

3. Поставить 301 редирект со старой версии для печати на страницы с обычной версией того же документа!

4. Ждать.

Google вполне нормально относится к 301 редиректу, поэтому должно быть все ОК.

Sandro:
Ситуация следующая, при заходе на сайт выдаётся окно с ошибкой, в которой идёт негодование по поводу отсутствия ексешника в папке виндоус, причём название ексешника всегда разное.

Если это Ваш сайт, тогда зайдите по фпт и проверьте, не появилось ли чего «лишнего» в индексном файле.

Кроме того, будет не лишним проверить компьютер на вирусы и поменять пароли на фтп.

PS: Подобные темы в последнее время обсуждались не один раз…

Зачастую, на одном IP адресе у хостеров находится больше чем 20 сайтов. Те, что ничего не нарушают, живут себе спокойно и ни о чем не думают, остальным – дорога сами знаете куда…

Я это к тому, что один IP адрес это далеко не причина для бана. Значительно бОльшую роль играет:

- похожий или одинаковый дизайн в сочетании с одним движком

- один и тот же или очень похожий набор рубрик (для каталогов)

- один и тот же или очень похожий набор страниц (для каталогов: ссылок на одни и те же сайты)

- другие факторы...

Поэтому, прежде всего, при создании сетки, я бы подумал не об разных IP, а об указанных выше факторах.

Конечно же, если у Вас свой сервер и на нем размещено всего 20-100 сайтов (сетка каталогов), тогда стоит задуматься и купить, по крайней мере, несколько IP…

OLKA Ko:
Как закрыть от индексации профили пользователей на форуме? Форум phpbb.

Прописать директиву Disallow: /profile в robots.txt

Например:

User-Agent: *

Disallow: /profile

Кстати, что Вам мешает посмотреть, как это реализовано у других?

http://www.yandex.ru/yandsearch?rpt=rad&text=phpbb

fuster:
А нельзя сразу все IP (подсеть вроде) этой страны забанить?

Нет, нельзя... таких "подсетей будет очень много"...

Видимо Вы не нашли ни одной базы по геотаргетингу...

Вот, для примера список украинских сетей, чтобы Вы понимали их примерное количество: http://www.colocall.net/ua/

Всего: 1443