Дмитрий Орлов

Рейтинг
135
Регистрация
23.11.2011
Алексей Питерский:
arhinastya, если бот Яндекса индексирует стр., то должно пройти 3 дня до апа (нормального апа, стандартного).

Это какой-то абсурд.

---------- Добавлено 24.08.2015 в 19:05 ----------

arhinastya:
По каким признакам вы определили, что это быстроробот?
Отсутствие обновлений поисковой базы?)

Откуда вопрос родился:

В сохраненных копиях быстрого индекса в url есть параметр src=FT, в сохраненке приведенного примера этого параметра нету.

komdir:
вообще то это быстроробот), эх, уровень все ниже и ниже, ну а Сергей да, он расскажет, особенно в последнее время

По каким признакам вы определили, что это быстроробот?

Отсутствие обновлений поисковой базы?)

Alena1980, я вас нипанимаю:(

Anibrut:
Alena1980, Host указывается только один раз, sitemap - можно несколько раз для каждого робота.

Что за вздор?

Обе директивы (host и sitemap) являются межсекционными и могут быть указаны в любом месте файла robots.txt.

---------- Добавлено 31.07.2015 в 11:14 ----------

Alena1980:
Я уже предоставила конечный результат, мне нужен ответ, правильно или нет и сайтмап куда вставить. Как я поняла в самый низ? Но он будет относится к Яндекс-боту или я ошибаюсь?
arhinastya:
Обе директивы (host и sitemap) являются межсекционными и могут быть указаны в любом месте файла robots.txt.

В любое место

---------- Добавлено 31.07.2015 в 11:21 ----------

Alena1980, и вообще у вас бред какой-то написан. Напишите лучше тут что вы хотите закрыть/открыть и от каких ПС.

TF-Studio:
на selenium можете поднять сами
http://snapito.com/ у этих было api простое

google -> @api website snapshots@

Я ни бельмеса, к сожалению.

Вы могли помочь за финансовое вознаграждение?

Filtrator, Запросы засекречены что-ли?

Ну тогда и малофите на них в одиночку.

Отключение ссылок не мешает висеть в ТОП-10 документу без сохраненки:

GoodLayers:
Два месяца назад запретил полностью индексацию сайта, до сих пор все страницы в индексе, доколе яндекс будет еще издеваться!?

Пишите заявление с требованием о праве на забвение:D

Shessmaster:
Читать-то умеем, или только писать.

Это у вас какие-то проблемы с восприятием информации.

Кто читать и думать умеет, сделает выводы.

А с вами продолжать диалог смысла не вижу, ввиду вашей неспособности принимать факты.

Shessmaster, по второй ссылке перейти руки не дошли?

Всего: 394