Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Время обновления данных из robots.txt в web.archive.org

SeoEscander
На сайте с 29.05.2009
Offline
89
SeoEscander
1730

Добрый день.

Такая ситуация: попал ко мне домен, точно знаю, что сайт ранее был в вебархиве.

Сейчас при поиске по этому сайту в вебархиве выдает:

Page cannot be crawled or displayed due to robots.txt. (на домене последний год висела заглушка и robots с запретом на индексацию).

Я повесил робот с Allow: /, так вот,

когда вебархив поймет, что робот обновился и начнет отдавать контент (если не удалил его с концами)? Сталкивался ли кто нибудь с таким? Есть ли где-то в вебархиве форма, с помощью которой можно ускорить процесс обновления robots.txt?

Вот есть похожая тема /ru/forum/866365, то там ТСа забанили

Спасибо

Разработка и сопровождение Java-проектов - 20$/час Контакторы (https://electrocontrol.com.ua/kontaktory), конденсаторы компенсации реактивной мощности (https://electrocontrol.com.ua/kondensatory), укм 0.4 (https://electrocontrol.com.ua/elektroshhitovoe-oborudovanie/kondensatornye-ustanovki-aku-04) Каталог продуктов и еды (http://edanavi.ru/)
The WishMaster
На сайте с 29.09.2005
Offline
2542
The WishMaster
#1

Ничего не понял. Если сайт был закрыт в роботсе, то в вебархиве его просто нет физически.

Кому старенького креативного копирайтера? Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)
SeoEscander
На сайте с 29.05.2009
Offline
89
SeoEscander
#2
The WishMaster:
Ничего не понял. Если сайт был закрыт в роботсе, то в вебархиве его просто нет физически.

Сайт был закрыт в роботсе только последний год, до этого, года три, он был открыт, и в вебархиве был точно

The WishMaster
На сайте с 29.09.2005
Offline
2542
The WishMaster
#3
SeoEscander:
и в вебархиве был точно

Был и исчез, что ли?

SeoEscander
На сайте с 29.05.2009
Offline
89
SeoEscander
#4
The WishMaster:
Был и исчез, что ли?

Так точно, показывается вот такая страница:

robots.txt обновился через четыре дня и сайт стал доступен для скачивания

The WishMaster
На сайте с 29.09.2005
Offline
2542
The WishMaster
#5

Значит, никак не восстановить. Да и зачем?

87793
На сайте с 12.09.2009
Offline
661
87793
#6
SeoEscander:
robots.txt обновился через четыре дня и сайт стал доступен для скачивания

Прошу пардону за буквоедство, но Вы хотели сказать ровно то, что сказали, или Вы хотели сказать так: "robots.txt обновился, и через четыре дня сайт стал доступен для скачивания"? 😕

SeoEscander:
показывается вот такая страница:

"Показывается" - в смысле и на данный момент тоже?

Наше дело правое - не мешать левому!
как снять бан яндекса. InstallMonster.ru- уникальная файловая партнерка Как долго обновляется DNS

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий