- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Неделю назад баловался с robots.txt:madd:
и добаловался до того, что запретил к индексации то что не надо.
Google отреагировал махом и в течении 2-х дней вынес из индекса большую половину сайта.
Я конечно заметил свою оплошность, но поздно. robots поправил а он все продолжает и продолжает выбрасывать страницы из индекса.
Как его теперь остановить то.
Уже тупо ему прописал
Allow: /нужная папка/
Но он все равно выкидывать продолжает.
Можно попробовать прописать в коде всех страниц.
<meta name="robots" content="index, follow" /> - тогда, он обычно игнорирует даже robots.txt.
Можно еще в вебмастере Google поковыряться. - Удачи.
Неделю назад баловался с robots.txt😡
и добаловался до того, что запретил к индексации то что не надо.
Google отреагировал махом и в течении 2-х дней вынес из индекса большую половину сайта.
Я конечно заметил свою оплошность, но поздно. robots поправил а он все продолжает и продолжает выбрасывать страницы из индекса.
Как его теперь остановить то.
Уже тупо ему прописал
Allow: /нужная папка/
Но он все равно выкидывать продолжает.
Уберите запрет на индексацию
Неделю назад
Это просто мгновение.
Уберите запрет на индексацию
Так я убрал запрет, мало того я ему конкретно говорю что индексировать
myscript добавил 29.09.2011 в 14:00
Можно попробовать прописать в коде всех страниц.
<meta name="robots" content="index, follow" /> - тогда, он обычно игнорирует даже robots.txt.
Можно еще в вебмастере Google поковыряться. - Удачи.
Спасибо, так и сделаю
<meta name="robots" content="index, follow" /> - тогда, он обычно игнорирует даже robots.txt.
Покажете хотя бы один такой пример? Или лишь бы ляпнуть чего-нибудь?
Неделю назад баловался с robots.txt😡
и добаловался до того, что запретил к индексации то что не надо.
Google отреагировал махом и в течении 2-х дней вынес из индекса большую половину сайта.
Я конечно заметил свою оплошность, но поздно. robots поправил а он все продолжает и продолжает выбрасывать страницы из индекса.
Как его теперь остановить то.
Уже тупо ему прописал
Allow: /нужная папка/
Но он все равно выкидывать продолжает.
Бот срабатывает по первому вхождению. Тобишь если сначала идет указание не индексить, а потом ты добавил Allow: на эту же папку - он ее не проиндексирует.
Поэтому проверь еще раз роботс.тхт чтобы не было "двойных правил". Ну а так то время все вылечит... Ну и на будущее уже будешь знать
вообще интересует папка pages
сейчас роботс выглядет так
Disallow: /*print
Disallow: /admin.php
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=favorites
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /statistics.html
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /user/
Disallow: /addnews.html
Allow: /pages/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Спасибо всем. Надеюсь действительно время расставит по местам все.
может все таки так
Allow: /pages/*
а лучше вообще убрать, и скормить пару ссылок
в роботсе должен быть хотяб один параметр Disallow: /backup/ (как пример)
если будет только 1 параметр Allow, то он будет индексить только этот параметр, а все остальное игнорить
почитайте подробнее у яши в хелпе
berserkus, нафига звездочка на конце?
если будет только 1 параметр Allow, то он будет индексить только этот параметр, а все остальное игнорить
Это где написано? Порверьте в http://webmaster.yandex.ru/robots.xml и убедитесь, что вы ошиблись и попали пальцем в небо:
Используемые секции
Строка
1-2
User-agent: *
Allow: /dir/
Результаты проверки URL
URL Результат
http://www.site.ru/duraki-na-volge.html разрешен
Покажете хотя бы один такой пример? Или лишь бы ляпнуть чего-нибудь?
Это пример из жизни. Сам был удивлен. обратился клиент - у него, все, что в роботс.тхт было запрещено - было проиндексировано. А в коде обнаружилась - вышеупомянутая строка.
Нет, не лишь бы ляпнуть.🙅