Robots.txt и склейка сайта

S

1

smallden

6 февраля 2011, 09:10

785

При проверке на склейку сайта домен без www соответствует

В Google http://www

В Yandex http://

При проверке на склейку сайта домен с www соответствует

В Google http://www

В Yandex http://www

Вопрос: что для Яндекса в таком случае писать в директиве host?

Спасибо.

AM

7

artem-moskvin

6 февраля 2011, 09:12

#1

Я вообще не пишу директиву host.

Посмотрите мой robots

http://www.all4css.ru/robots.txt

S

1

smallden

6 февраля 2011, 10:37

#2

artem-moskvin:
Я вообще не пишу директиву host.
Посмотрите мой robots
http://www.all4css.ru/robots.txt

Сайт посмотрели:) А что делать в случае, когда яндекс видит два разных варианта сайта?

135

Neo79

6 февраля 2011, 11:06

#3

Оптимальный robots.txt - юзайте я сегодня добрый )

User-agent: *

Disallow: /*print

Disallow: /backup/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /uploads/

Disallow: /user/

Disallow: /newposts/

Disallow: */page/1/

Disallow: /index.php?*

Disallow: /?do*

Disallow: /engine/go.php

Disallow: /statistics.html

Sitemap: http://site.ru/sitemap.xml

Sitemap: http://site.ru/sitemap.html

User-agent: Yandex

Disallow: /*print

Disallow: /backup/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /uploads/

Disallow: /user/

Disallow: /newposts/

Disallow: */page/1/

Disallow: /index.php?*

Disallow: /?do*

Disallow: /engine/go.php

Disallow: /statistics.html

Sitemap: http://site.ru/sitemap.xml

Sitemap: http://site.ru/sitemap.html

Host: site.ru

Куплю сайты спортивной тематики (http://seo-sport.ru/form.php) Продаю базы url сайтов из ЯК, DMOZ, Mail (/ru/forum/586087) Размещения статей на старых СДЛ (/ru/forum/715803)

D

113

dymas

6 февраля 2011, 13:59

#4

Neo79:
Оптимальный robots.txt - юзайте я сегодня добрый )

Я бы еще в каждой секции добавил

Disallow: /plugins/

Зачем быть уникальным в мире, где все можно скопировать

В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах