- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
В личку писать можно, но подсказывать особо нечего. Все, что вы не хотите, чтобы попадало в индекс, закрываете. Остальное оставляете открытым. Я не использую сложные маски в роботс. Мне вполне хватает того, что я показал в примере выше.
Добрый день! Некоторые моменты уточнил, а по этим вопросам можете что-нибудь посоветовать ? :)
5) Где можно посмотреть названия всех роботов, чтобы некоторым запретить доступ к сайту через disallow.
C ув. Spektrof
Доброго времени суток, помогите разобраться с robots.txt. Ситуация такая, сайт то маленький на 35 страниц, но в поиск робот грузит уж слишком дофига:
Не могу понять что и как верно закрыть, вроде капал в инете по robots.txt и Worpress везде все одно и тоже пишут, теперь переходим к структуре сайта, опять не понятки, откуда только берутся такие ссылки:
Сам файл robots.txt строго не судите, ибо я сам делал все исходя из статей в инете, если что ни так прошу вашей помощи.
Извините, вопрос, делаю сайт под США, но как вижу в роботсе всех англоязычных сайтов - нет строки Host, я тоже ее не вписывал. Правильно?
Здрасвтуйте! У меня снова вопрос по robots уже более конкретный. Что если я хочу открыть индексацию для страниц всех поисковых роботов и указать где находится карта сайта. Как я точно должен буду прописать это в robots.txt?
User-agent: *
Allow: /
Sitemap: http://мойсайт.ру/sitemap.xml
Так правильно будет? или как то по другому прописать?
Извините, вопрос, делаю сайт под США, но как вижу в роботсе всех англоязычных сайтов - нет строки Host, я тоже ее не вписывал. Правильно?
Host только у Яндекса есть. Если продвижение в Яндексе не нужно, то можно не писать.
---------- Добавлено 11.03.2017 в 23:04 ----------
Здрасвтуйте! У меня снова вопрос по robots уже более конкретный. Что если я хочу открыть индексацию для страниц всех поисковых роботов и указать где находится карта сайта. Как я точно должен буду прописать это в robots.txt?
Так правильно будет? или как то по другому прописать?
Нет директивы Allow.
Если нужно что-то закрыть от индексации, то Disallow. Если закрывать нечего, то не пишите лишнего.
Удалил пост, писал в личку
Disallow: /
User-agent: *
Disallow: /*?
Если в роботс заданы такие строки. Сайт будет индексироваться Яндексом или нет?
Если имя файла такое, какое у вложенного, то поисковый робот, думаю, не читает его. Правильное имя файла robots.txt
А не robots.txt.txt
Прикрепляю robots.txt, который решает проблему с страницами ? и php.