- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Во всех поисковиках (в т.ч. гугле) сайт упал на дно, при попытке отыскать его в выдаче у главной страницы написано "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..." То же написано в Google Webmasters.
Вот содержимое robots.txt (нашел где-то в сети как образец, который ничего не делает и не должен):
Host: website
Sitemap: http://website/sitemap.xml
User-Agent: *
Disallow: /
Что тут не так?
Disallow: / # доступ закрыт для всех страниц сайта
http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml
Disallow: /
Запрещает индексацию всего сайта. Где вы такое нашли?
Жесть. А зачем запрещать индексацию всего сайта?
Пропишите в роботс.тхт такую конструкцию:
User-agent : *
Disallow: /?
Disallow: /*?
Host: ваш_сайт
Sitemap: http://ваш_сайт/sitemap.xml
И подождите 1-2 апа. Обратите внимание на www если хотите чтобы сайт был с этой приставкой.
Жесть. А зачем запрещать индексацию всего сайта?
Пропишите в роботс.тхт такую конструкцию:
User-agent : *
Disallow: /?
Disallow: /*?
Host: ваш_сайт
Sitemap: http://ваш_сайт/sitemap.xml
И подождите 1-2 апа. Обратите внимание на www если хотите чтобы сайт был с этой приставкой.
Вот я дурак-то!!! 2 года сайт упал до минимума посещений а я понять не мог что делаю не так!!! 😡😡😡
Сколько по времени он должен восстановиться, если раньше (до того как добавил robots.txt) было 500 уников в сутки, а стало 10-20?
skarui, Вы пишите чушь.
Если ТС вообще не понимает, что происходит с сайтом - велика вероятность, что он не сильно знаком с тех. моментами. И опять же есть вероятность, что у него нет ЧПУ и урлы идут вида /?p=123 и т.д.
Сделав по вашему совету он не исправит ситуацию вообще.
StanKhat, Напишите в личку сайт, я накидаю Robots вам.
Жесть. А зачем запрещать индексацию всего сайта?
Disallow: /?
Disallow: /*?
Что означает эта конструкция? (вопросительный знак после слэша)
В инете найти не смог.
Что означает эта конструкция? (вопросительный знак после слэша)
В инете найти не смог.
/? - закроет конструкции вида Site.ru/?xxx
/*? - закроет конструкции, где есть ? в урле
Я бы поменял на
Allow: /
Host: website
Sitemap: http://website/sitemap.xml
Вместо Allow: / можно прописать в Disallow - что нужно закрыть от индексации, например.
Я бы поменял на
Вместо Allow: / можно прописать в Disallow - что нужно закрыть от индексации, например.
Спасибо. Именно так и сделал. Интересно когда можно ждать эффекта? Неделя, месяц?
StanKhat, от пары недель