- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Подскажите, плиз, Начинающему, как на чужих сайтах можно прочесть данный файл? И где мне скачать прогу (естествено бесплатную), чтобы самому написать его в формате Unix? Да и стоит ли это писать? Может лучше все же через метатеги указыать? Кстати, у меня в метатегах для роботов указания только на главных страницах. Верно ли это7 Или надо на всех писать? Тогда, файл роботса, конечно, будет, незаменим.
http://www.yandex.ru/robots.txt - тык, enjoy it.
Начинающий,
роботс можно просм отреть просто: набираете url сайта, например / а потом после слэша пишите: robots.txt и получаете:
вот вам и роботс.
вообще то роботс можно написать в блокноте :)
подробнее о синтаксисе и о самом роботсе здесь:http://www.seoman.ru/FAQ/article028.html
вообще пользуйтесь поиском по форуму, Яндексом и http://www.seoman.ru/FAQ/ чтобы найти ответы на свои вопросы
robots.txt это простой текстовый файл, прочитать его очень легко http://www.имя сайта.ru/robots.txt
Пишится всё это ручками никаких прог я пока не встречал, да и нет в них надобности.
Лучше пользоваться robots.txt чем писать в мета тегах для каждой страници. Вобщем как и что делается читай здесть
Я же говорю, что - НАЧИНАЮЩИЙ. что значит то. куда вы дали ссылку?
User-Agent: *
Disallow: /yandsearch
Disallow: /yandpage
Disallow: /yandbtm
Disallow: /subscribe/view.pl
Disallow: /last20.html
Disallow: /cgi-bin/
Disallow: /yaca
Disallow: /cy
Disallow: /ie3/yandsearch
Disallow: /redir
Disallow: /norobot
на мой взгляд - это запрет на индексацию паукам других сайтов индексировать сайт Яндекса.
Но как увидеть подобные файлы на других ресурсах. Или просто после имени ресурса набирать robots.txt?
ну и, конечно, хоетлось бы получит ьответы напредыдущие вопросы.
Как ты думаеш как можно прочитать текстовый фаил в корне сайта ?.
Конечно пишиш название домена/имя файла.
Тоесть www.сайт.ru/robots.txt
А для состовление robots.txt ненужно ни какой программы (Хотя это умеет делать NetPromoter)
Пока писал ответ, окадалось, что уже написали овтет на другие вопросы. Спасибо. Но все же про формат Unix - рекомендуют именно такой, чтобы все пауки могли прочесть файл.
Итак, я написал в блокноте роботс. Сохранил его. назвав robotx.txt
Внутри него следующая запись
User-agent: *
Disallow:
То есть разрешено всем паукам индексировать все на сайте.
Правильно ли я написал? И действительно ли паучки помут то, что написано в формате txt (см. выше)?
Да, всё правильно только убери пустую строку
User-agent: *
пустая строка
Disallow:
И если хочеш, чтоб весь сайт был проиндексирован, то можеш вобще не ставить robots.txt
??????????????????
То есть почему? Ведь как раз и рекомендуют писать для этого роботс. Можеть тогда не стоит и метатеги роботные писать? Вообще не понял, почему отсутсиве данного файла ускоряет индексацию?!
Я не сказал что это ускорит индексацию или замедлит, просто сайт будет проиндексирован, вобще robots.txt применяют если хотят запретить к индексации какие либо файлы или директории, а если тебе нечего закрывать то можеш и не писать ничего.