- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
-=Илья=-, что это меняет?
User-agent должен быть никак не *. Почему этот вариант вообще попал в хелп, мне непонятно.
Хотя запретить несуществующую директорию можно поробовать, спасибо
Я собственно о директории, которой нет писал. Если и запрещать ничего не хочется, и строку disallow написать нужно по всем правилам, то вполне удобно поставить такой запрет.
А что касается юзер агента, то тут всё просто: яндекс host обработает, остальные отнесутся к нему как к пустому месту. Получается самый компактный вариант.
Host просто нет в стандарте
http://cards.yandex.ru/robots.txt
UserAgent: *
Disallow: /sendcard.xhtml
Disallow: /previewcard.xhtml
Disallow: /*.swf
Disallow: /*.mid
Disallow: /cgi-bin/
......
Похоже, разные программы в Яндексе интерпретируют такой некорректный robots.txt по-разному. Так, например, сервис Яндекса по проверке robots.txt http://www.yandex.ru/cgi-bin/test-robots считает, что файл корректный и запрещает к индексации все зеркала, кроме www.site.ru
Робот-зеркальщик, считает, видимо, по-другому (разные люди писали?) и главным назначил второстепенное зеркало www.othersite.ru, о чем и говорится при попытке добавить в индекс домен www.site.ru через форму http://webmaster.yandex.ru/
Индексатор, видимо, как и сервис Яндекса по проверке robots.txt, считает, что файл корректный и выкинул сайт www.othersite.ru из индекса, а добавить www.site.ru нельзя, т.к. он считается второстепенным зеркалом сайта www.othersite.ru
Вот такой бардачок получился. robots.txt на фиг снесли. Ждём.
ну вот ещё и одно подтверждение моих предположений. У меня начались проблемы с сайтом именно с момента введения директивы host в robots.txt
Сначала выпал сайт полностью с индекса, а потом выпал из каталога, хотя размещение было платным. И регистрировался bigli.ru? без www
Причём сайт есть в каталоге, но при нажатии на денежку показывает тиц=0. Саппорт ответил просто
-----------------------------------------
Все правильно, в Каталоге был зарегистрирован сайт bigli.ru Но в силу того, что Вы удалили директиву Хост из robots.txt Яндекс считает главным зеркалом сайт -- www.bigli.ru , поэтому он и появился в Каталоге как главное зеркало. Верните директву хост на место и после отзеркалирования Ваших сайтов, в Каталоге появится новое главное зеркало автоматически.
-------------------------------------------
Причём, на мою просьбу написать точную строчку для robots.txt с использованием host поддержка яндекса молчит, как рыба об лёд. :)
вот так вот круг и замкнулся
так, что хоть и высмеяли мои предположения в этом форуме, я оказался прав.
А вообще если честно Яндекс просто достал меня уже, похоже, что они просто уже не могут контролировать своё детище.
С Уважением
Uacommerce
Причём, на мою просьбу написать точную строчку для robots.txt с использованием host поддержка яндекса молчит, как рыба об лёд. :)
Хм... во-первых, у вас всего два варианта написания. Во-вторых, правильный вариант "угадать" не сложно. Тогда не будет проблем ни с поиском, ни с каталогом.
так, что хоть и высмеяли мои предположения в этом форуме, я оказался прав.
Какие предположения? То что с помощью роботса можно управлять зеркалами в YaCa - общеизвестный факт.
Хм... во-первых, у вас всего два варианта написания. Во-вторых, правильный вариант "угадать" не сложно. Тогда не будет проблем ни с поиском, ни с каталогом.
Какие предположения? То что с помощью роботса можно управлять зеркалами в YaCa - общеизвестный факт.
хотелось чтобы поддержка яндекса взяла на себя ответственность если что то пойдёт у них не так, после того как я сделаю как они напишут..
Самому пробовать мне уже резко расхотелось.
Предположения у меня были о том, что именно использование host привело к удалению сайта из индекса поисковика..
С Уважением
Uacommerce
как ни прискорбно из-за таких же проблем в роботс.txt вылетел из индекса при последнем апдейте. Еперный театр :(
"Все правила" (http://www.robotstxt.org/wc/norobots.html) вполне допускают пустую стоку Disallow, которая ничего не запрещает:
Disallow
The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved. For example, Disallow: /help disallows both /help.html and /help/index.html, whereas Disallow: /help/ would disallow /help/index.html but allow /help.html.
Any empty value, indicates that all URLs can be retrieved.
wolf, мы сейчас не про правила, а про их оригинальное трактование роботами известной тебе SE говорим. Это две большие разницы, как оказалось.