- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Ребята, помогите разобраться.
Некий скрипт выдает урлы в виде:
http://domain.com/video/description-of-post-or-other-script/?MC41LjU4LjI3NjEuMC500
Где урл поста (или тубового скрипта) содержит описание и айдишник.
Но такого рода урлы google webmaster tools постоянно записывает в Restricted by robots.txt ‎(341)‎
И пару раз в неделю пишет мне сообщения типа http://domain.com/: Possible outages.
Можно отменить encrypt передачи ID, но тогда описание не удасться передавать в вышеуказанном виде.
Как выйти из положения.
Не ругайтесь.
Заранее благодарен.
Restricted by robots.txt - это значит запрещен через robots.txt. Его и курите.
http://domain.com/robots.txt пустой вообще.....
http://domain.com/robots.txt пустой вообще.....
Попробуйте создать.
Попробуйте создать.
Так он и так существует.
Кстати подскажите права на него надо 666 или достаточно 644?
644, если не хотите чтобы все подряд в него писали. сделайте не пустой:
User-agent: *
Allow: /
User-agent: *
Allow: /
Нахрена он нужен такой? Разрешить то, что разрешено по умолчанию? Это как светофор посреди поля поставить.
Нахрена он нужен такой? Разрешить то, что разрешено по умолчанию? Это как светофор посреди поля поставить.
Это понятно. Просто откуда тогда ошибка "Restricted by robots.txt". Хуже не будет :)
Отцы, вы где?
Отцы, вы где?
Мистика какая-то, показывайте сайт.
Я бы вашу структуру:
User-agent: *
Allow: /
Заменил бы на:
User-agent: *
Disallow:
Ибо тоже самое, зато правильно...
Инструкция allow - не существует, а те поисковики, типа Яндекса, которые подобное поддерживают - все это от дьявола...