- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени суточек.
Возник вопрос, переносил старый shop script на новую версию shop script 5 - все товары, категории и страницы подклеились 301 редиректом. Старые адреса были вида index.php?catid=33 и т.д и т.п - новые соответственно были SEF url с нормальными описаниями. После переноса в robots.txt на версии shop script 5 закрыл Disallow: /index.php? - помешает это роботу склеить страницы, просто все страницы с index.php вылетели из индекса а новые вошли но позиции упали очень неплохо, как то влияет на это закрытие index.php - не могу прийти к нормальному ответу.
После переноса прошло около 2-ух недель. Позиции просели в гугле очень активно а вот в Яндексе все достаточно нормально.
Спасибо за все ответы !
Я так понимаю никто с таким не сталкивался ??? Просто вопрос достаточно интересный и может ли быть такая проблема при такой инструкции в robots.txt.
Конечно, не поклеит, в роботсе ведь запрещено, лучше потратьте время и сделайте норм редиректы 301 через htaccess
Спасибо за ответ.
Так там со старых адресов вида index.php везде стоял и стоит прям щас 301 редирект. Просто что бы дублей в выдаче не было я закрыл все страницы вида index.php? и еще по техническим причинам тоже это сделал.
Вопрос помешало или помешает это роботу ? Он же все равно должен увидеть что там 301 редирект ? Раньше проблем не было таких. Просто новые URL уже показываются в выдаче но позиции их ниже старых....
Вопрос помешало или помешает это роботу ?
Конечно помешает. Он их просто сканировать не будет.
Конечно помешает. Он их просто сканировать не будет.
Я встречaл в выдaче стрaницы, которые зaпрещены в роботсе. В снипете пишется "Описание веб-страницы недоступно из-за ограничений в файле robots.txt", но в выдaче онa есть. Вопрос только, кaк он тaкие стрaницы будет склеивaть.
A тс, я бы посоветовaл открыть в роботсе стaрые стрaницы, в выдaче и в яндексе и в гугле прaктически срaзу встaют именно новые стрaницы, если со стaрых вы постaвили редирект. В индексе стaрые остaются продолжительное время, но в выдaче по зaпросaм появляются стрaницы с новыми урлaми. По логике стaрые урлы должны сaми пропaсть из индексa без зaкрытия в роботсе, только нужно подождaть.
Я уже снял инструкцию к запрету, вопрос в том остались ли эти страницы в другом индексе или эти адреса вообще уже потеряны и тогда эти страницы не проклеются и не покажутся на нужных местах.
А если в robots.txt - User-agent: * - не было указано, то он будет смотреть все инструкции которые шли после него ?
Я встречaл в выдaче стрaницы, которые зaпрещены в роботсе. В снипете пишется "Описание веб-страницы недоступно из-за ограничений в файле robots.txt", но в выдaче онa есть.
Вы просто не понимаете, как это работает. Обсуждалось неоднократно.
---------- Добавлено 17.07.2014 в 18:11 ----------
А если в robots.txt - User-agent: * - не было указано, то он будет смотреть все инструкции которые шли после него ?
Не совсем, понятен вопрос. Если робот определенной системы, не найдет для себя раздела, то будет использовать основной с *
Вы просто не понимаете, как это работает. Обсуждалось неоднократно.
---------- Добавлено 17.07.2014 в 18:11 ----------
Не совсем, понятен вопрос. Если робот определенной системы, не найдет для себя раздела, то будет использовать основной с *
Если вообще User-agent не было в файле robots.txt он исполнит секцию Disallow: ?
Disallow:
только это? И больше ничего? ХЗ. Должен вообще игнорировать. Так как он спецификацию тогда нарушит.
только это? И больше ничего? ХЗ. Должен вообще игнорировать. Так как он спецификацию тогда нарушит.
Так то да, этой строки в файле не было, но он помоему все равно работал, хотя без нее он должен был файл проигнорировать.