- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Столкнулся со следующим вопросом. В корень сайта закачал robots.txt с запретом для Web Archive. Теперь Web Archive ругается: "Page cannot be crawled or displayed due to robots.txt.", что robots.txt не позволяет ему сканировать сайт, а также пропали все старые снимки. Удалил robots.txt, ничего не восстановилось. В поддержку отписал просьбу, вернуть снимки назад. Кто сталкивался с таким?
Зачем вы запрещали и зачем вам туда опять попадать? Верните запрет назад и живите счастливо. Вебархив - это повод тырить ваш контент школьниками.
На главной странице https://archive.org/web/ в форме "Save Page Now" введите URL своего обновленного файла robots.txt в котором не будет запрета Web Archive и нажмите кнопку "Save Page" - после этого практически сразу запрет будет снят.
На главной странице https://archive.org/web/ в форме "Save Page Now" введите URL своего обновленного файла robots.txt в котором не будет запрета Web Archive и нажмите кнопку "Save Page" - после этого практически сразу запрет будет снят.
Спасибо. Поступил так: ночью прописал в robots.txt
Allow: /
Уже утром сайт вернулся в веб архив.
---------- Добавлено 22.05.2014 в 18:31 ----------
Зачем вы запрещали и зачем вам туда опять попадать? Верните запрет назад и живите счастливо. Вебархив - это повод тырить ваш контент школьниками.
Слышал, что с веб архивом "вес" домена больше, и купят за бОльшую стоимость.
Уже утром сайт вернулся в веб архив.
То бишь - все старые бэкапы стали вновь доступны? 😕
То бишь - все старые бэкапы стали вновь доступны? 😕
Да, все старые отсканированные копии сайта на месте.
Мне удивительно, что они пропадали.
Слышал, что с веб архивом "вес" домена больше, и купят за бОльшую стоимость.
не слышал такой ерунды. зато не только слышал, но и часто сталкивался. когда сайт уходит в оффлайн надолго - его тут же кто-нибудь предприимчивый выкачивает из вебархива и делает копию сайта, типа "если сайт умер, че добру пропадать".