sitemap.xml

12
leo3331
На сайте с 07.01.2007
Offline
154
877

Здравствуйте.

Как можно сделать так что бы яндекс и гугл индексировали только страницы в sitemap.xml ?

Такой роботс прокатит?

User-agent: Yandex

Disallow: /

Sitemap: http://www.xxx.ru/sitemap.xml

User-agent: googlebot

Disallow: /

Sitemap: http://www.xxx.ru/sitemap.xml

LEOnidUKG
На сайте с 25.11.2006
Offline
1771
#1

Эм. Нереал. Тем самым вы закрываете от индексации весь сайт.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
M5
На сайте с 12.08.2009
Offline
221
M25
#2

... ой, сорри, не дочитал....

► Рейтинг серверов — ТОП10 ◄
leo3331
На сайте с 07.01.2007
Offline
154
#3

Никак не получится сделать то что я хочу?

LEOnidUKG
На сайте с 25.11.2006
Offline
1771
#4
Никак не получится сделать то что я хочу?

Нет конечно. Как минимум нужно учитывать, то что ПС вообще карту сайта в последнюю очередь смотрят.

S6
На сайте с 06.12.2011
Offline
158
SEO
#5
leo3331:
Никак не получится сделать то что я хочу?

Помечайте страницы, которые должны индексироваться каким-нибудь параметром, потом регуляркой по нему напишите правила для роботса.

Ну, и в сайтмап их суйте.

Аудит сайта. Консультации.
LEOnidUKG
На сайте с 25.11.2006
Offline
1771
#6
SEO66:
Помечайте страницы, которые должны индексироваться каким-нибудь параметром, потом регуляркой по нему напишите правила для роботса.

Ну, и в сайтмап их суйте.

Ой, сомневаюсь, что будут ПС это слушать. Они проиндексируют всё, а потом просто в снипете будут выводить, мол содержание мы показать не можем, но страница есть. Заходите смотрите.

Алексей Барыкин
На сайте с 04.02.2008
Offline
272
#7

Задача конечно дурацкая, но если очень хочется, то:

index.php

<?
$filename = "sitemap.xml";
if (file_exists($filename)){
$f = fopen($filename, "r");
$sitemap = fread($f, filesize($filename));
fclose($f);

$url = 'http://'.$_SERVER['HTTP_HOST'].$_SERVER['REQUEST_URI'];
if (strpos($sitemap, $url) !== TRUE)
header("HTTP/1.0 404 File Not Found");
}
...
<остальной код>
?>

Т.е. на страницы, которых нет в карте выдаем 404 код, и они выпадают из индекса.

leo3331
На сайте с 07.01.2007
Offline
154
#8

благодарю, но страницы должны открываться. Это будут страницы с тэгами, страницы архива и т.д. Все что дубли контента делают

_
На сайте с 11.07.2008
Offline
90
#9

как то запрещать страницы:

Это будут страницы с тэгами, страницы архива и т.д.
Предоставляю услуги программирования и администрирования. Бесплатная фриланс биржа (https://allfreelancers.su/)
LEOnidUKG
На сайте с 25.11.2006
Offline
1771
#10
leo3331:
благодарю, но страницы должны открываться. Это будут страницы с тэгами, страницы архива и т.д. Все что дубли контента делают

Ну только отслеживать бот ли это ПС и ему отдавать 404

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий