series60: 1. Robots.txt
1.1 Для какой цели вы указали разные правила в robots для яндекса и других поисковиков?
1.2. Host: должен стоять внизу, сейчас хост только для яндекса.
1.2.3. Домен у вас textominus.ru, а в роботос указан www.textominus.ru Определитесь.
1.3. Зачем две ссылки на одинаковые карты?
2. Не уникальный контент.
3. В поиске много дублей. Не закрыты /page/ , тэги, архивы, пользователи и т.п.
Роботс полностью скопирован с другого сайта, на котором с индесацией всё нормально...Так что тут не в нем дело...
1. Robots.txt
1.1 Для какой цели вы указали разные правила в robots для яндекса и других поисковиков?
1.2. Host: должен стоять внизу, сейчас хост только для яндекса.
1.2.3. Домен у вас textominus.ru, а в роботос указан www.textominus.ru Определитесь.
1.3. Зачем две ссылки на одинаковые карты?
2. Не уникальный контент.
3. В поиске много дублей. Не закрыты /page/ , тэги, архивы, пользователи и т.п.
Роботс полностью скопирован с другого сайта, на котором с индесацией всё нормально...Так что тут не в нем дело...
Тэги и архивы специально не закрыты...
Дык сайт в индексе: морда даже за 28-е число есть в кэше, 750 страниц вошло в индекс.
Сколько всего страниц должно войти в индекс?
Все до единой страницы под фильтрами...Сайт-то проиндексировался, но практически все сираницы под фильтром.
Это что-то новенькое... кто шарит?
Вот-вот...Гуглил по этой теме но ничего путного не нашел, поэтому обращаюсь сюда.
У меня тоже самое. Сейчас потихоньку начинает из-под фильтра выходить. недели две тупо всё под метелку шло под фильтр.
А Яндекс, новый Robots, съел уже ?
Да, в вэбмастере показывает новый роботс.
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /page
Disallow: /4cfc8157337a.html
Host: www.Домен.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /page
Disallow: /4cfc8157337a.html
Сделал такой роботс, но яндекс всё равно индексирует эти несуществующие страницы. Это видно в логах. Что-то не так значит.
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /page
Disallow: /4cfc8157337a.html
Host: www.Домен.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /page
Disallow: /4cfc8157337a.html
Спасибо вам.
Проблема массовая...
/ru/forum/702803
С эти таки у меня всё норм. У меня все страницы ушли под фильтр.
Ребята, скажите, есть у кого-нибудь изменения? Может у кого сайты из под фильтра вышли?
проверьте какой код отдает сервер, если зайти на несуществующую страницу. должно быть 404.
Так и есть...
Тоже всё улетело...Что делать незнаю...