Как составить robots.txt

12
VN
На сайте с 26.02.2008
Offline
8
1181

Добрый день!

Подскажите, плиз, как составить robots.txt для Яши

А то с гугла приходит 70-90 посетителей, а с яши - 20-30 (((((

Заранее благодарен за ответ

cleverbird
На сайте с 17.03.2008
Offline
41
#1

Посмотрите здесь. Все достачно хорошо описано.

http://robotstxt.org.ru/

осторожно, работает мозг
LR
На сайте с 28.11.2007
Offline
29
#2

Спешу вас огорчить, уважаемый ТС!

Функция "желаемое количество посетителей" в robotx.txt не поддерживается :D

По теме

Для яндекса пропишите

User-agent: Yandex

Disallow: (оставить пустым в случае если ничего не запрещаем к индексации) или же пишем адреса страничек, которые хотим сделать недоступными для индексации яндексом

host: www.site.ru или же просто site.ru в зависимости от ваших предпочтений

Пример:

User-agent: Yandex

Disallow: /page1.html

Disallow: /page3.html

Host: www.site.ru

Проверить правильность составленного "роботса" можно на страничке webmaster.yandex.ru

Сауны нижнего новгорода. Отдых и досуг (www.sauna-nn.ru) Разработка сайтов в Нижнем Новгороде. Реклама и продвижение (www.vikrost.ru)
Цахес
На сайте с 15.03.2007
Offline
205
#3

cleverbird, lucky-romantic, я так понимаю вы всётаки разобрались что имел ввиду ТС.

Объясните, пожалуйста.

VladimirN:
как составить robots.txt для Яши

А то с гугла приходит 70-90 посетителей, а с яши - 20-30
- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
K
На сайте с 31.01.2001
Offline
737
#4

Зачем гадать, что мог иметь в виду ТС, но не написал.

По-моему, все ясно, он полагает, что какой-то хитростью в robots.txt можно увеличить посещаемость :).

А lucky-romantic дал рекомендацию на случай, если зеркала не склеены, это вполне может уменьшить посещаемость с Яндекса.

VladimirN, покажите ваш сайт прямо здесь.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
VN
На сайте с 26.02.2008
Offline
8
#5

у меня нет зеркал..

а имел ввиду я то, что Яша не индексирует мою доску объявлений... например так много объявлений Продам квартиру..а я Яши нет..(( а цель - чтобы Яша находил эти объявления!

NickPro
На сайте с 27.07.2007
Offline
20
#6

VladimirN, нету сайта - нету мультиков. Покажите свою доску.

SubAqua
На сайте с 21.10.2005
Offline
199
#7
VladimirN:
как составить robots.txt для Яши

Robots.txt и Яндекс

И снова о robots.txt Заметки об индексации Яндексом

Яндекс и robots.txt - ньюансы

Яндекс накосячил с соблюдением стандарта файла robots.txt

robots.txt глазами Яндекса

Ответ: бана нет но сайт не индексируется. Обсуждение Robots.txt

Удаление сайта Яндекс: Часто задаваемые вопросы

и еще про Robots.txt

Все о Robots.txt (ну не все конечно...)

Мультиязычный сайт, Яндекс и robots.txt Вопрос на форуме Searchengines.ru

Robots.txt Составление файла

Редактор файлов robots.txt Страница продукта компании Net Promoter по работе с файлом Robots.txt

Robots.txt Материал из Википедии

Robots.txt "Стандарт исключений для роботов

Как правильно написать robots.txt

Robots.txt Все о файле robots.txt по-русски. Ряд документов

Основной домен без www Устанавливаем правильно директивы

robots.txt и Host сайты на бесплатном хостинге. Обсуждение.

Зачем нужен robots.txt Андрей Сидоров

Про зеркала и robots.txt

Управление индексацией на сайте через robots.txt

VN
На сайте с 26.02.2008
Offline
8
#8

SubAqua, мдя...)))))

Яндекс - найдется все.

эти ссылки читать не перечитать....мне нужен тупо пример ...и все. Но все равно, спасибо, щас погляжу.

А доска вот - http://www.dneprhome.com/do_buy/

VladimirN добавил 08.05.2008 в 19:27

а чтобы составить зеркало...че нужно- новых хостинг и домен для каждого зеркала?

Зеркало я так понимаю - это похожий сайт?

VladimirN добавил 08.05.2008 в 19:33

нее...ну скиньте пример ROBOTS.txt!!!!!!!!))

какой он сам файл...сколько строк...

Составить просто тхт файл с такими строчками?!!!!!! и все!!!???

User-agent: Yandex

Disallow: /page1.html -страница к которым запрещен доступ

Disallow: /page3.html

K
На сайте с 31.01.2001
Offline
737
#9

не нужно

VladimirN:
например так много объявлений Продам квартиру..а я Яши нет..(( а цель - чтобы Яша находил эти объявления!

Так он находит. Непонятно, зачем вам robots.txt, он же никак не поможет.

Diver Anna
На сайте с 10.08.2007
Offline
20
#10

А у меня вопрос: как в robots.txt указать, чтобы поисковики не индексировали ссылки на форуме, который находится по адресу http://www.moysite.net/forum ?

Вот у меня на форуме народ постит ссылки и я не хочу, чтобы они индексировались.

DomainTimes. Украинский форум web-профессионалов. (http://domaintimes.net/forum/index.php)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий