robots.txt для гугл...

yaltabes · 2010-12-03T13:44:08.0000000Z

Добрый день всем Есть несколько сайтов на джумла, на каждом довольно таки четко прописан robots.txt. Яндекс этот файлик прохавал очень четко. А вот гуг наотрез не хочет его видеть, может что то написал не так?? http://villabest.ru В индексе Яндекса 122 страницы В индексе Гугла 1244 страницы User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /*write Disallow: /*Los Disallow: /*userid Disallow: /*user Disallow: /*Vse-ob-yavleniya Disallow: /*Sovety Disallow: /*Karta-sayta Disallow: /*all-ads Disallow: /*adsmanager Disallow: /*catid Disallow: /*Kontakty

M

111

Maxoud

4 декабря 2010, 11:57

#11

Я потому перестал свои движки писать, чужие покупать и так далее. WP rulezz! Мне легче его модифицировать, чем заново писать что-то. И качественный шаблон стоит пять баксов у китайца или индуса.

Бесплатное хранилище данных (http://bit.ly/gJYy9Z) (5GB) с синхронизацией. По ссылке — бонус 500MB.

Джон Мюллер: может, стоит Николай Евдокимов «Рынок высокоинтеллектуальный, «SERP Wars: Episode I

185

Z-Style

4 декабря 2010, 14:11

#12

Maxoud:
robots.txt = зло.
Кроме как серверные средства (или HTTP-хэдеры через PHP) ничего больше не годится.
Четыре простых числа:
301, 302, 403, 404

Да, но если отдавать разное по юзер агенту то это может расцениться как клоакинг. Меня заинтересовал тогда вопрос, есть ли корректный способ переезда для Я/Г ? Получается если сразу влупить 301 - с яндексом будут проблемы. Если сначала клеить через Host и запрещать временно для Гугл через robots.txt - есть шанс что это будет проигнорировано и появится в глазах его клон сайта что приведет к пессимизации основного...

Z-Style добавил 04.12.2010 в 17:12

Maxoud:
Я потому перестал свои движки писать, чужие покупать и так далее. WP rulezz! Мне легче его модифицировать, чем заново писать что-то. И качественный шаблон стоит пять баксов у китайца или индуса.

+1000000

правда, шаблоны предпочитаю делать для себя самому.

Основы клоакинга Платон Щукин об изменениях Как избежать исключения из

Y

198

yaltabes

4 декабря 2010, 14:47

#13

Maxoud:
Я потому перестал свои движки писать, чужие покупать и так далее. WP rulezz! Мне легче его модифицировать, чем заново писать что-то. И качественный шаблон стоит пять баксов у китайца или индуса.

не могли бы вы дать ссылочки на китайца или индуса??

M

111

Maxoud

4 декабря 2010, 15:51

#14

yaltabes:
ссылочки на китайца или индуса

Я сначала у них спрошу разрешения.

А вообще я их нашел на фрилансерских сайтах. Там их тыщи000.

Y

198

yaltabes

5 декабря 2010, 17:40

#15

Maxoud:
Я сначала у них спрошу разрешения.

думаю, что никому лишняя реклама не помешает, смело давайте ссылки..

T

11

TIgor

9 декабря 2010, 21:09

#16

А как быть с фидами и трекбеками?

У меня вот в роботсах все это запрещено:

http://tigor.org.ua/robots.txt

И Яша честно их не трогает, а гугл все подряд проиндесировал, наплевав на роботов.

Теперь в индексе гугла в 4 раза больше страниц чем у Яши, что может несколько напрягать рекламодателей.

Яндекс Вебмастер вынес товарные Формат Video Discovery на Яндекс Директ включил ручное

Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы

VK приобрела 70% в структуре компании-разработчика red_mad_robot