Anibrut: Alena1980, Host указывается только один раз, sitemap - можно несколько раз для каждого робота.
Что за вздор?
Обе директивы (host и sitemap) являются межсекционными и могут быть указаны в любом месте файла robots.txt.
---------- Добавлено 31.07.2015 в 11:14 ----------
Alena1980: Я уже предоставила конечный результат, мне нужен ответ, правильно или нет и сайтмап куда вставить. Как я поняла в самый низ? Но он будет относится к Яндекс-боту или я ошибаюсь?
arhinastya: Обе директивы (host и sitemap) являются межсекционными и могут быть указаны в любом месте файла robots.txt.
В любое место
---------- Добавлено 31.07.2015 в 11:21 ----------
Alena1980, и вообще у вас бред какой-то написан. Напишите лучше тут что вы хотите закрыть/открыть и от каких ПС.
arhinastya, если бот Яндекса индексирует стр., то должно пройти 3 дня до апа (нормального апа, стандартного).
Это какой-то абсурд.
---------- Добавлено 24.08.2015 в 19:05 ----------
По каким признакам вы определили, что это быстроробот?
Отсутствие обновлений поисковой базы?)
Откуда вопрос родился:
В сохраненных копиях быстрого индекса в url есть параметр src=FT, в сохраненке приведенного примера этого параметра нету.
вообще то это быстроробот), эх, уровень все ниже и ниже, ну а Сергей да, он расскажет, особенно в последнее время
По каким признакам вы определили, что это быстроробот?
Отсутствие обновлений поисковой базы?)
Alena1980, я вас нипанимаю:(
Alena1980, Host указывается только один раз, sitemap - можно несколько раз для каждого робота.
Что за вздор?
Обе директивы (host и sitemap) являются межсекционными и могут быть указаны в любом месте файла robots.txt.
---------- Добавлено 31.07.2015 в 11:14 ----------
Я уже предоставила конечный результат, мне нужен ответ, правильно или нет и сайтмап куда вставить. Как я поняла в самый низ? Но он будет относится к Яндекс-боту или я ошибаюсь?
Обе директивы (host и sitemap) являются межсекционными и могут быть указаны в любом месте файла robots.txt.
В любое место
---------- Добавлено 31.07.2015 в 11:21 ----------
Alena1980, и вообще у вас бред какой-то написан. Напишите лучше тут что вы хотите закрыть/открыть и от каких ПС.
на selenium можете поднять сами
http://snapito.com/ у этих было api простое
google -> @api website snapshots@
Я ни бельмеса, к сожалению.
Вы могли помочь за финансовое вознаграждение?
Filtrator, Запросы засекречены что-ли?
Ну тогда и малофите на них в одиночку.
Отключение ссылок не мешает висеть в ТОП-10 документу без сохраненки:
Два месяца назад запретил полностью индексацию сайта, до сих пор все страницы в индексе, доколе яндекс будет еще издеваться!?
Пишите заявление с требованием о праве на забвение:D
Читать-то умеем, или только писать.
Это у вас какие-то проблемы с восприятием информации.
Кто читать и думать умеет, сделает выводы.
А с вами продолжать диалог смысла не вижу, ввиду вашей неспособности принимать факты.
Shessmaster, по второй ссылке перейти руки не дошли?