bulatbulat48

Рейтинг
94
Регистрация
27.04.2012

Ребята, всех поздравляю!

Может форум находится на поддомене?

данный robots.txt разрешает сканирование файла.

limyh:
Всем привет.

Какими БЕСПЛАТНЫМИ программами или сервисами можно быстро проверить слова на "частотность" и "!частотность"?

Т.к. запросов больше 1000, хочется "нулевые" отсеять.

Кейколлектор и Yazzle вроде могут такое, но они платные. Сейчас же нужно сегодня сделать проверку подобную.

Подскажите сервисы-программы.

С Наступающим!!!

словоебом +

ребята, только у меня сегодня не работает - анализ текстов?

dadiman:
Здравствуйте, у меня в одной директории находится основной домен и папки с поддоменами. Скажите пожалуйста, как можно запретить индексацию всех находящихся поддоменов в этой папке, не прописывая в каждом поддомене запрет в файле robots.txt и не перечисляя в robots.txt основного домена запреты на все существующие поддомены? Тоесть может быть существует какое-то регулярное выражение для файла robots.txt или для .htaccess? Но при этом чтобы папки основного домена и все его файлы были разрешены для индексации. На Яндексе в разделе про настройку файла robots.txt ничего про это не написано. Спасибо.

Если речь о robots.txt, то в поддомены нужно положить файл полностью закрывающий индексацию:

User-agent: *

Disallow: /

---------- Добавлено 29.12.2014 в 12:23 ----------

Tison:
у меня в роботсе есть строчка Disallow: /wp-content/cache/
я использую плагин кеширования и не знаю как быть, оставить ее или удалить?

Я бы оставил строчку.

IBakalov:
А кто-нибудь встречал отображение твиттов и прочего для "обычных" сайтов?

Не всяких там ютубов и жж, не супер новостных сайтов (аля первый канал), а для коммерческих ресуросов?

да, у любого сайта - это выдача быстроробота залайкнутая социалками. В сохраненке посмотри параметр FT.

можно через seo frog, через регулярки можно ограничить уровни, чтобы весь объем за 1 раз не сканировать.

Vimaz:
Сейчас обнаружил в Yahoo, что он проиндексировал robots.txt и это есть в поисковой выдаче.
А как закрыть сам robots от индексации?

User-Agent: Yahoo! Slurp

Disallow: /robots.txt

---------- Добавлено 23.12.2014 в 14:34 ----------

sas7110:
Такого еще не встречал ) Рассмешили. Ребят, поддерживаю, такой вопрос поставил меня в тупик...

запись

Disallow: /

так же закроет файл robots.txt, он обрабатывается и сайт как правило вылетает из индекса.

sas7110:
То есть я могу так оставлять? Там же в папке получается много разных месяцов и дней, они тоже все закроются? Или нужно написать так:
Disallow: /2014/*
Disallow: /2015/*
Disallow: /2016/*
Просто хочу уточнить и сделать правильно все.

достаточно:

Disallow: /2014/

Disallow: /2015/

Disallow: /2016/

sas7110:
Здравствуйте, ребята, сайт на DLE, есть страницы, которые не нужны, вида http://сайт .ru/2014/11/14/ и так далее, в них материалы за этот день. Как мне закрыть эти страницы в robots.txt? Они в индексе не нужны...
Если я написал так в роботе:

User-agent: Yandex
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /engine/download.php?id=*
Disallow: /user/
Disallow: /newposts/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /favorites/
Disallow: /language/
Disallow: /templates/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Sitemap: http://сайт .ru/sitemap.xml
Host: сайт .ru

Так пойдет? Там ведь разные месяца и дни будут /2014/10/14/ - /2014/11/24/ и так далее.
То что я написал в роботе закроет их все или нет? Или может какие знаки нужно еще дописать..?

закроет - по умолчанию идет *(регулярка - все символы) в конце строки.

Всего: 780