- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Заметил, что многие сайты который сидят в топе Яши странным образом используют robots.txt! При проверки данного файла через скрип Яши он выдает: «Не удалось установить соединение» (не код ошибки, который пишется при отсутствии данного файла)!
Думаю как-то связанно это с зеркалами сайтов, так как данные сайты прекрасно индексируются как с ввв так и без ввв и не сидят в зеркалах!
Интересно Ваше мнение!
А руками не пробовали смотреть их robots.txt ?
Давайте факты в студию.
Может там просто сервер так настроен и не отдает нужный файл?
Покажите сайт, лучше личкой
Руками удалось просматреть только один из файлов:
User-agent: *
Disallow: /?
Host: www.site-name.ru
Тоесть файл точно есть а вот почему скрипт Яши пишит что не может соедениться?
Ну значит других просто нет. Насколько мне известно роботс является открытым для всех на то он и роботс.
А какая разница-то почему - ничего секретного в этом роботсе нет... да и не может быть :)
когда файла нет выдает код ошибки обычно!
Значит сервер не правильно настроен