- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Во всех поисковиках (в т.ч. гугле) сайт упал на дно, при попытке отыскать его в выдаче у главной страницы написано "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..." То же написано в Google Webmasters.
Вот содержимое robots.txt (нашел где-то в сети как образец, который ничего не делает и не должен):
Host: website
Sitemap: http://website/sitemap.xml
User-Agent: *
Disallow: /
Что тут не так?
Disallow: / # доступ закрыт для всех страниц сайта
http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml
Disallow: /
Запрещает индексацию всего сайта. Где вы такое нашли?
Жесть. А зачем запрещать индексацию всего сайта?
Пропишите в роботс.тхт такую конструкцию:
User-agent : *
Disallow: /?
Disallow: /*?
Host: ваш_сайт
Sitemap: http://ваш_сайт/sitemap.xml
И подождите 1-2 апа. Обратите внимание на www если хотите чтобы сайт был с этой приставкой.
Жесть. А зачем запрещать индексацию всего сайта?
Пропишите в роботс.тхт такую конструкцию:
User-agent : *
Disallow: /?
Disallow: /*?
Host: ваш_сайт
Sitemap: http://ваш_сайт/sitemap.xml
И подождите 1-2 апа. Обратите внимание на www если хотите чтобы сайт был с этой приставкой.
Вот я дурак-то!!! 2 года сайт упал до минимума посещений а я понять не мог что делаю не так!!! 😡😡😡
Сколько по времени он должен восстановиться, если раньше (до того как добавил robots.txt) было 500 уников в сутки, а стало 10-20?
skarui, Вы пишите чушь.
Если ТС вообще не понимает, что происходит с сайтом - велика вероятность, что он не сильно знаком с тех. моментами. И опять же есть вероятность, что у него нет ЧПУ и урлы идут вида /?p=123 и т.д.
Сделав по вашему совету он не исправит ситуацию вообще.
StanKhat, Напишите в личку сайт, я накидаю Robots вам.
Жесть. А зачем запрещать индексацию всего сайта?
Disallow: /?
Disallow: /*?
Что означает эта конструкция? (вопросительный знак после слэша)
В инете найти не смог.
Что означает эта конструкция? (вопросительный знак после слэша)
В инете найти не смог.
/? - закроет конструкции вида Site.ru/?xxx
/*? - закроет конструкции, где есть ? в урле
Я бы поменял на
Allow: /
Host: website
Sitemap: http://website/sitemap.xml
Вместо Allow: / можно прописать в Disallow - что нужно закрыть от индексации, например.
Я бы поменял на
Вместо Allow: / можно прописать в Disallow - что нужно закрыть от индексации, например.
Спасибо. Именно так и сделал. Интересно когда можно ждать эффекта? Неделя, месяц?
StanKhat, от пары недель