- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
ГОспода, мне лень это искать, но товарищ Кац однозначно говорил. Если на страницу есть внешние ссылки, Гугл срёт на роботс и идёт смотреть чо там. Но если там "noindex, nofollow" - не индексирует.
У меня есть внешние ссылки на страницы, которые отдают 404, страницы закрыты в роботс, тоже попадают в индекс...
Tarry, Ну я тоже слышал, что он срет на роботс если ссылки стоят, такое и у гули там можно во всяких правилах найти. У меня да, на самом сайте есть ссылки на те страницы... Я также слышал, что если роботсом закрыто, и при этом в метах прописано не индексить, то меты игнорятся, вот и думаю поэкспериментировать, убрать в роботсе заперт на часть паг, но оставить в метах запрет на индексацию и поглядеть чаго будет...
А у меня еще и сам robots.txt в индексе лежит, и по его уникальному содержанию можно его найти :)
У вас также?
Tarry, Ну я тоже слышал, что он срет на роботс если ссылки стоят, такое и у гули там можно во всяких правилах найти. У меня да, на самом сайте есть ссылки на те страницы... Я также слышал, что если роботсом закрыто, и при этом в метах прописано не индексить, то меты игнорятся, вот и думаю поэкспериментировать, убрать в роботсе заперт на часть паг, но оставить в метах запрет на индексацию и поглядеть чаго будет...
В мета - не пробовал, ноиндекс ставил - смысла нет, содержание закрыто, но если человек всё же пришёл на страницу, то получает платное - на шару))
Но в моём случае - это скорее глюк.
Принцип такой, закрытые в роботс страницы не попадают в индекс 2-3 месяца, затем все бодро залетают в индекс (палятся по полной)) без кэша (это ещё раз нужно перепроверить), с этого момента они начинают отваливаться по 100-200 страниц ежедневно, до тех пор пока не отвалятся все закрытые... И такие прикольчики уже видел ни раз...
У меня да, на самом сайте есть ссылки на те страницы...
Убери. Или не отдавай их боту. Или генери хитрым жабаскриптом.
убрать в роботсе заперт на часть паг, но оставить в метах запрет на индексацию и поглядеть чаго буде
. .
Убери. Или не отдавай их боту. Или генери хитрым жабаскриптом.
Смысл убирать, если робот уже всё схавал?
StaroverovMax добавил 05-08-2011 в 11:47
. .
Этот робот - неупавляем и прожорлив))
Google кладет на robots.txt, 404, метатеги, редиректы и отсутствие ссылок, упорно отображая страницы в списке проиндексированных, а удаление через вебмастер всего лишь скрывает страницы на 90 дней, продолжая хранить их в индексе
А для проиндексированых robots.txt он еще и тайтлы придумывает: http://www.google.ru/search?q=inurl:%22com/robots.txt%22
да это редкий по гадостности глюк гугла... мне так уже 2 сайта конкуренты убили... ставят туевы кучи сылок на блог хостингах на несуществующие страницы ... сайт отдает 404 но гуглу пофиг он все это добро сует в индекс и получается гамносайт... в общем кто в теме уже давно конкурентов с топов выносит таким макаром... я в вебмастере писал им про это но ответа уже пол года как нету и телодвижений также... может у кого есть реальный доступ к "телу" тамошних мозгов... обьясните им на пальцах что если сайт отдает 404 и эта страница закрыта в роботсе и метатегом то это не значит что страницу нужно в индекс добавлять только по тому что на нее стоит ссылка на каком то сплоге.