- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
очень нужен готовый файл robots.txt в котором будет запрещена индексация сайта для буржуйских роботов.
Точнее, для индексации нужно оставить только яндекс, рамблер, русский гугл, русский яху и апорт. остальным запретить индексацию. К сожалению, разбираться нет времени, нужен готовый правильный файл, отблагодарю 100 wmr на шоколад.
заранее спасибо.
User-agent: Googlebot
Disallow: /
User-agent: *
Disallow:
------------------------
запрет для Гуги
Таким же макаром сделай для других.
User-agent: Googlebot
Disallow: /
Просто вместо Googlebot пропиши роботы других, типа Yahoo.
И поставь рядышком.
Таким же макаром сделай для других.
User-agent: Googlebot
Disallow: /
Просто вместо Googlebot пропиши роботы других, типа Yahoo.
И поставь рядышком.
спасибо, но не могли бы Вы скинуть полный файл? к тому же мне нужно оставить для индекса русских гугла и яху, а я в этом не волоку совсем...
спасибо, но не могли бы Вы скинуть полный файл? к тому же мне нужно оставить для индекса русских гугла и яху, а я в этом не волоку совсем...
stomler, ничего сложного нет:
делаете
User-agent: Агент
Disallow: /
- запретить индексировать сайт
User-agent: Агент
Disallow:
- разрешить индексировать сайт.
База данных по агентам : http://bot.tixit.ru/user_agent/
выбираете агента и указываете можно ли ему индексировать или нет
А готовый файл - это просто напросто текстовик залитый в корень сайта.
у меня как раз проблема с выбором агента. не знаю кто из них кто. мне вот нужно оставить индексацию для русских яху и гугла. а буржуйских яху и гугла запретить. так можно? но какие у них названия?
Я думаю, что под одним. Хотя и не уверен на все 100. А зачем вам вообще такое? запретить бурж?
А зачем вам вообще такое? запретить бурж?
да. именно запретить бурж.
что-то вряд ли под одним... как так? тогда весь поисковик, включая и русскую часть не будет индексировать сайт. а русская нужна.
stomler, очень понятный сайт о файле robots.txt - http://robotstxt.org.ru/
отблагодарю 100 wmr на шоколад
Оффтоп, strekov, _aleksey_, кому-нибудь достался данный поощрительный приз ? :)
stomler, очень понятный сайт о файле robots.txt - http://robotstxt.org.ru/
Оффтоп, strekov, _aleksey_, кому-нибудь достался данный поощрительный приз ? :)
Нет, шоколадка еще не разыграна по-ходу:)
да. именно запретить бурж.
что-то вряд ли под одним... как так? тогда весь поисковик, включая и русскую часть не будет индексировать сайт. а русская нужна.
просто я думаю что боты одни, по крайней мере представляются как одни (мне так кажется) - а дальше уже на основе контента и его языка делается вывод. А так я считаю что не очень практично иметь разных роботов.
з.ы: и я до сих пор не смог представить зачем вам такой "изврат" нужен