- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Столкнулся с такой проблемой при попытке просмотреть сайт в веб архиве:
Page cannot be crawled or displayed due to robots.txt.
robots.txt на сайте нет...
Можно ли как то решить проблему или нет?
а зачем вам попадать в вебархив? от него только куча вреда:
1) нагрузка на сервер от индексирования.
2) если сайт отключится - куча воров решит что сайт умер и из вебархива начнет качать контент.
я вебархив вообще в хтасессе баню.
Мне не нужно попадать в веб архив, я хочу вытащить сайт оттуда, но похожу предыдущий хозяин запрещал его в роботе. Но вот вопрос: откуда тогда берут данные о сайте различные сервисы pr-cy и тд. Например парсят картинку главной страницы дескрипшн, тайтл и тд?
Мне не нужно попадать в веб архив, я хочу вытащить сайт оттуда, но похожу предыдущий хозяин запрещал его в роботе. Но вот вопрос: откуда тогда берут данные о сайте различные сервисы pr-cy и тд. Например парсят картинку главной страницы дескрипшн, тайтл и тд?
😂 вот от таких деятелей я и запрещаю индексацию вебархивом. если вебархив не рпоиндексировал, значит ничего не вытащите.
pr-cy берут данные о сайте на сайте.
😂 вот от таких деятелей я и запрещаю индексацию вебархивом. если вебархив не рпоиндексировал, значит ничего не вытащите.
pr-cy берут данные о сайте на сайте.
Дк сайта то нет уже давно, домен с заглушкой висел, а скриншот на сервисе при проверке выдает именно сайта а незаглушки, значит откуда то сервис сделал скрин ☝
значит откуда то сервис сделал скрин
Возможно, скрин был сделан при одной из первых проверок сайта.. когда "всё было".