Эта галочка программой потом никогда не снимается. т.е. если однажды каталог был замечен в списке бэков, то эта галочка будет установлена и она не будет снята даже в случае, если эта ссылка уже пропала или сайт, в бэках которого эта ссылка найдена будет удален.
Вероятно имеет смысл перед проверкой наличия в бэках сделать запрос "Оставить галочки "есть в обратных" для каталогов, ссылки на которых не найдены?", как считаете?
Брррр....
А зачем все так усложнять? Какой смысл помнить вечно, что какой то каталог когда-то был виден в беклинках? Каталоги банятся, бросаются и умирают пачками, зачем всю жизнь хранить этот мусор?
Предлагаю эту фичу оформить более строго - делать проверку на наличие каталогов в беках всех сайтов из справочника на текущий момент и все. Ибо каталог представляет какую либо ценность если он есть в беках здесь и сейчас, а не когда-то сто лет назад.
YuraZ: > Disallow: All
Так нельзя. Disallow: / тогда уж.
Да, конечно, нужен слеш - это руки автоматом апачевый конфиг правят. :)
Лёлик: robots.txt должен быть один
В принципе да, масло масленое, но с другой стороны кроме некоторой избыточности ничего противозаконного в таком роботсе нет, да и директиву host только яндекс понимает, пускай уж гуглы и остальные рамблеры тоже зеркала без www не трогают.
K. Ermakov: А теперь следите за руками
Извиняюсь, путаница в терминологии получилась.
Основное зеркало с www и разрешено к индексации.
Редиректа нет уже несколько дней, может быть с неделю.
Сайт индексируется I ботом. Хотя вот только что посмотрел логи, сегодня I бота не было, зато раз десять зашел D бот и взял robots.txt, похоже вчерашние эксперименты с адурилкой повлияли на ситуацию.
У Smile SEO - кроме непосредственно сабмиттера, великолепная дополнительная функциональность.
Ровно месяц после прогона двух нулевых сайтов. тИЦ=40 по 80-85 беков в яндексе. В гугле беков нет. На мыло для спама по 400 писем упало.
А много ли страниц у сайтов?
А и С - тысяч по двадцать страниц. B - поменьше тысяча страниц.
опечатка? возможно, имелось в виду фурии ?
:D
Ладно, меняем формулировку - гурии, они же гуры, они же гуру, они же люди в теме, они же эксперты итд, итп.
Приподниму маленько тему:
А что скажут гурии на предмет того, чтобы поместить в <noindex> и распихать rel="nofollow" в код конкретно рамблера top100 и Liveinternet?
Не будет ли санкций? Там кажется были какие то слова про неизменность кода итп.
Эта галочка программой потом никогда не снимается. т.е. если однажды каталог был замечен в списке бэков, то эта галочка будет установлена и она не будет снята даже в случае, если эта ссылка уже пропала или сайт, в бэках которого эта ссылка найдена будет удален.
Вероятно имеет смысл перед проверкой наличия в бэках сделать запрос "Оставить галочки "есть в обратных" для каталогов, ссылки на которых не найдены?", как считаете?
Брррр....
А зачем все так усложнять? Какой смысл помнить вечно, что какой то каталог когда-то был виден в беклинках? Каталоги банятся, бросаются и умирают пачками, зачем всю жизнь хранить этот мусор?
Предлагаю эту фичу оформить более строго - делать проверку на наличие каталогов в беках всех сайтов из справочника на текущий момент и все. Ибо каталог представляет какую либо ценность если он есть в беках здесь и сейчас, а не когда-то сто лет назад.
> Disallow: All
Так нельзя. Disallow: / тогда уж.
Да, конечно, нужен слеш - это руки автоматом апачевый конфиг правят. :)
robots.txt должен быть один
В принципе да, масло масленое, но с другой стороны кроме некоторой избыточности ничего противозаконного в таком роботсе нет, да и директиву host только яндекс понимает, пускай уж гуглы и остальные рамблеры тоже зеркала без www не трогают.
А теперь следите за руками
Извиняюсь, путаница в терминологии получилась.
Основное зеркало с www и разрешено к индексации.
Редиректа нет уже несколько дней, может быть с неделю.
Сайт индексируется I ботом. Хотя вот только что посмотрел логи, сегодня I бота не было, зато раз десять зашел D бот и взял robots.txt, похоже вчерашние эксперименты с адурилкой повлияли на ситуацию.
И Host: прописал тоже. С www разумеется.
Для домена с www robots.txt выглядит так:
User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Host: www.xxxxx.ru
Без www так:
User-agent: *
Disallow: All
User-agent: Yandex
Disallow: All
Host: www.xxxxx.ru
Редиректа пока никакого вообще нет.
Стало быть теперь терпеливо ждем-с?
Или есть еще какие нибудь замечания?
Мда, про редирект понятно, сам накосячил. Ну что же, как говорится, читайте маны, они рулез :)
K. Ermakov
Сейчас редиректа вообще нет никакого. С зеркалом яндекс определился и считает им домен без www, что в принципе от него и требовалось.
А какими именно директивами Вы это сделали?
На php скрипт написал, генерящий нужный robots.txt в зависимости от того, какой HTTP_HOST.