Mikich: Ну бот получает 404, а страницы из индекса выбрасывать не хочет. По внутреннему статмодулю, гуглбот с упорством идиота каждый день ходит по по одним и тем же несуществующим страницам и его не волнует, что их давно нет.
Возвращайте 410.
Согласно стандартам - 404 это "страница почему-то не найдена", а 410 - "да, такая страница тут была, но ее больше нету и пожалуйста - забудьте об ее существовании, еслы вы бот".
В теории - Гугл утверждает, что его бот реагирует на 404 и 410 одинаково, но на практике 410-е удаляются из индекса раза в 3-4 быстрее.
SkyA: Есть 10 сайтов сходной тематики. Все расположены на одном серваке (один IP) если их перелинковать таким образом чтоб каждый сайт ссылался на два других...
Будет ли иметь это какие-то негативные последствия от гугла?
Два десятка сайтов в .ru - IP, домен второго уровня, структура, дизайн, отдельный домен отдающий статику (он вообще в .ua) - все общее. Отличается только тематика и соответственно контент.
В августе перелинковали их между собой "yesfollow" сквозняками в несколько спиралей (каждый ссылается на несколько остальных и в итоге находится в нескольких кольцах разной длины) - в результате на след. день трафик с гугла сразу вырос с ~3k до ~4k, но на след. день упал до ~2k, еще через пару дней поднялся до ~2.5. Сквозняки убрали и оставили такую перелинковку только на мордах и страницах первого уровня (примерно 0.05-0.1% от общего количества) и через неделю трафик вернулся на прежний уровень. Дальше - за 4 месяца плавный рост до 6к, но там таки дошли руки до разметки микроданными, сайтмапов, юзабилити (и ПФ) и других мелочей.
Поэтому мой опыт на чистый эксперимент не тянет и однозначно связанный позитив от такой перелинковки только увеличение PR с 0-3 до 2-4 по всей сетке.
Яндекс - в течении месяца подъем от 2.5 до 4, падение обратно до 2.5 и меееедленный рост до 3к - он просто нас "не любит" за то, что несмотря на домен в .ru 80% контента и 60% трафика "украинские" :p
~20 сайтов <topicX>.<brand1>.com.ua + ~20 <topicX>.<brand2>.ru + ~20 <topicX>.ru - но "UA-xxxxxxx-x" общий один на все 50+ сайтов + пара-тройка со своими собственными "UA" - и естественно собственным контентом, который не пересекается с сайтами на основном "UA". полет нормальный.
Статистика - общая для UA или любого его подмножества.
Возможности аггрегировать статистику разных UA - GA не предоставляет.
Смысл группировать сайты одного общего UA и раскидывать домены по разным профилям - вполне понятен - разграничение доступа и отсутствие проблемм с точностью, которые возникают при использовании сегментов.
Разные "UA" на разные домены по-сути одного сайта - совершенно непонятно зачем оно может понадобиться, и вообще выглядит стремно. Как по мне - лучше явно дать понять гуглу что сайт один, и пусть он сам скеивает дублирующийся контент чем чем конкурировать самому с собой и напрашиваться на санкции.
New Member: К примеру, у вас интернет-магазин из 5000 страниц.
Такая ситуация, у вас сотни товаров уже не нужны для продажи и требуется убрать их с сайта.
У каждого товара своя страница. Что вы сделаете, отдадите ошибку 404 на эти страницы или сделаете 301 редирект на морду?
Страница с похожими товарами возвращаемая с кодом 410. Гугл утверждает, что не делает разницы между 404 и 410, но согласно RFC на HTTP - правильный код ошибки в данном случае именно 410. Не могу смаштабировать г-доску объявлений на 5 лямов страниц до ИМ на 5к, но по нашей внутренней статистике googlebot возвращается на 404-е раза в 3 чаще, чем на 410-е, а живые пользователи предпочитают релевантный контент морде
Как я только не пробовал менять синтаксис, с кавычками писал переменные и без, цели я так и не достиг. В отчетах пользовательские переменные в GA падают как я говорил выше или константы или ничего если оставлять поле для переменной пустым.
1 - В переменных - ограничение на размер имя+значение 64байта, с учетом юникода это всего 32 символа, и вообще в отличии от событий - с русским они не очень дружат, поэтому лучше использовать английский, транслит и т.д.
2 - Скрипт (кроме собственно загрузки "ga.js") взять в
$(document).ready(function() { // Ваш код });
- В момент выполнения скрипта DOM может быть еще не (полностью) построен и все ваши "var login = $('.regForm input:first').val();" получаются UB
2.1 - "input:first" Оперой до сих пор не поддерживается 😡
3 - Использовать "_trackEvent" НЕ из обработчика событий крайне нежелательно - это "портит статистику" - даже если пользователь зашел на страницу и тут-же ее закрыл (тоесть bounce в чистом виде) - в результате отправки событий GA считает, посещение уже не как bounce, а как нормальное + exit
1) Через обычную форму - по 1 объявлению.
2) Через импорт эксел файла - сотни и тысячи объявлений за раз.
Разумеется и в том и в другом случае у объявлений минимум информации, так как прайсы особо не заполняются: название, цена (и возможно сейчас будет возможность импортировать с фото).
Стремиться к тому, чтобы объявлений первого типа было на на порядки больше, чем второго.
Даже у импортированного прайса между одинаковыми на первый взгляд позициями найдутся существенные отличия - как минимум это будет цена и информация об поставщике - все это тоже должно присутствовать на странице объявления и добавит ему уникальности. Желательно разметить все микроданными - товар, фирма(человек).
Внутренняя перелинковка нужна в любом случае - ссылки на несколько других (желательно аналогичных или сопутствующих) товаров и по возможности первые предложение-два из их описаний - и все страницы будут вполне себе уникальными.
Если вы легально импортите реальные предложения клиентов, которые заинтересованы в размещении своих товаров именно на вашем сайте - возможно у них уже есть красивые прайсы с подробными описаниями и т.д. С того-же яндех-маркет-а приходили достаточно неплохо и подробно заполненные прайсы, а с prom.ua - вообще описания товаров на несколько страниц уникального текста.
MichaAlex90:
при использовании сч и вч из этого тайтла, страницу объявления можно искать бесконечно.
90% трафика с поисковиков на достаточно неплохо раскрученном сайте такого типа это именно НЧ, по ВЧ имеет смысл продвигать сам сайт а не отдельные объявления.
Есть кто, у кого был обвальный взлет? :) Или теперь в топе те сайты, над которыми не работали оптимизаторы :)
UA, ~3 ляма страниц в гугловском индексе. PR4 на главной и хз сколько десятков с PR4 внутренних. 85-90% трафика с поисковиков - на внутрение страницы с PR0 и менее 10 заходов в месяц.
На главный сайт гугловский трафик за май +~10% в сравнении с мартом и ~20% в сравнении с апрелем, прогнозы на июнь - 700-720K визитов с гугла и хотя-бы 850 всего.
Над сайтом работают скорее программисты :p
В конце марта перевели пару десятков сателитов из зоны RU на новый движок с разными вкусностями типа разметки микроданными, ежедневного скармливания гуглу актуальных сайтмапов, правильной внутренней перелинковкой и т.д. и отпустили их в "полноценную самостоятельную жизнь" заменив все линки на на главный соотв. внутренними. Судя по всему - в апреле именно они о отобрали 10% трафика.
Апрель-май - работа в штатном режиме, из того что могло повлиять на трафик - только закрытие некоторых дублей с помощью 301-ых или canonical links и измения верстки (с 100% сохранением внешнего вида) там где в превьюхах гугл вместо контента выделял меню, формы расширенного поиска и т.п. или отображал не те микроданные.
Silver Knight: Т.е. получилась такая ситуация, что гугл видит несколько "разных" сайтов с одинаковым контентом, хотя на самом деле они являются одним сайтом.
Не совсем понял вашу проблемму. Ни пользователи ни боты в принципе не должны видеть URL-ов типа http://<site-ip>/..., только http:/<my-site-domain>/...
В качестве балансировщика для сотни-двух тысяч посетителей в день вполне справляется один nginx на самом дешевом root-server-е от хейзнера. Если этого недостаточно - дальнейшее масштабирование должно делаться уже на уровне DNS, при этом опять-же - никаких IP, только домены.
Что касается пункта 3, то тут я могу внести соответствующие изменения только на своем сайте. Я вообще закрыл этот скрипт он индексации. Однако я не могу повлиять на другие сайты, с которыми я обмениваюсь трафиком. Получается, что Google видит такие урлы на них как отдельные страницы с моим контентом.
Этот контент с т.з. гугла получается скорее "ихним", чем "Вашим" 😡
- (1) позаботьтесь об том, чтобы скормить его googlebot-у первым (внутренняя перелинковка, которая строится при посщениях бота рулит)
- (2) пометьте его как "свой" с помощью microdata, microformats, rdf и т.д.
- (3) не отдавайте контент до того, как он проиндексирован на вашем сайте
Silver Knight: Я заметил, что Google бот стал еще глупее, чем был прежде:
1) Он не умеет слеивать айпи сайта и сайт либо делает это очень плохо. Вместо некоторых сайтов выдаются айпи т.к. Google думает что это разные сайты.
айпи это эдак 1993-ий год :) Нынче - сотни сайтов на одном IP - норма. Если IP ваш и полностью подконтролен - при HTTP запросе по IP - 301 на тот-же URL "вашего самого главного сайта", если нет - то там уже реклама от хостера, и скажите спасибо, что ее не "склеивают" к вашему сайту.
2) Он с трудом склеивает домены с www. и без. Иногда он думает что это разные сайты. Раньше таких проблем небыло.
Для бота и аналитики - Настраиваемо как "Preferred domain" в "Webmaster Tools", плюс есть canonical URL (задуман для несколько других целей, но в качестве плацебо от паранойи тоже неплох).
Для пользователей - все абсолютные линки "на www.my-domain" и 301 с просто "my-domain".
3) Он индексирует страницы типа out.cgi?url=http://www.domain.com/, которые просто перенаправляют пользователя на определенный сайт, как страницы сайта.
out.cgi должен тупо возвращать 301 на http://www.domain.com/ и все будет ОК.
Если он возвращает нечто редиректящее через META REFRESH или JavaScript - проблемма не в боте, а в out.cgi
Ну бот получает 404, а страницы из индекса выбрасывать не хочет. По внутреннему статмодулю, гуглбот с упорством идиота каждый день ходит по по одним и тем же несуществующим страницам и его не волнует, что их давно нет.
Возвращайте 410.
Согласно стандартам - 404 это "страница почему-то не найдена", а 410 - "да, такая страница тут была, но ее больше нету и пожалуйста - забудьте об ее существовании, еслы вы бот".
В теории - Гугл утверждает, что его бот реагирует на 404 и 410 одинаково, но на практике 410-е удаляются из индекса раза в 3-4 быстрее.
Есть 10 сайтов сходной тематики. Все расположены на одном серваке (один IP) если их перелинковать таким образом чтоб каждый сайт ссылался на два других...
Будет ли иметь это какие-то негативные последствия от гугла?
Два десятка сайтов в .ru - IP, домен второго уровня, структура, дизайн, отдельный домен отдающий статику (он вообще в .ua) - все общее. Отличается только тематика и соответственно контент.
В августе перелинковали их между собой "yesfollow" сквозняками в несколько спиралей (каждый ссылается на несколько остальных и в итоге находится в нескольких кольцах разной длины) - в результате на след. день трафик с гугла сразу вырос с ~3k до ~4k, но на след. день упал до ~2k, еще через пару дней поднялся до ~2.5. Сквозняки убрали и оставили такую перелинковку только на мордах и страницах первого уровня (примерно 0.05-0.1% от общего количества) и через неделю трафик вернулся на прежний уровень. Дальше - за 4 месяца плавный рост до 6к, но там таки дошли руки до разметки микроданными, сайтмапов, юзабилити (и ПФ) и других мелочей.
Поэтому мой опыт на чистый эксперимент не тянет и однозначно связанный позитив от такой перелинковки только увеличение PR с 0-3 до 2-4 по всей сетке.
Яндекс - в течении месяца подъем от 2.5 до 4, падение обратно до 2.5 и меееедленный рост до 3к - он просто нас "не любит" за то, что несмотря на домен в .ru 80% контента и 60% трафика "украинские" :p
~20 сайтов <topicX>.<brand1>.com.ua + ~20 <topicX>.<brand2>.ru + ~20 <topicX>.ru - но "UA-xxxxxxx-x" общий один на все 50+ сайтов + пара-тройка со своими собственными "UA" - и естественно собственным контентом, который не пересекается с сайтами на основном "UA". полет нормальный.
Статистика - общая для UA или любого его подмножества.
Возможности аггрегировать статистику разных UA - GA не предоставляет.
Смысл группировать сайты одного общего UA и раскидывать домены по разным профилям - вполне понятен - разграничение доступа и отсутствие проблемм с точностью, которые возникают при использовании сегментов.
Разные "UA" на разные домены по-сути одного сайта - совершенно непонятно зачем оно может понадобиться, и вообще выглядит стремно. Как по мне - лучше явно дать понять гуглу что сайт один, и пусть он сам скеивает дублирующийся контент чем чем конкурировать самому с собой и напрашиваться на санкции.
К примеру, у вас интернет-магазин из 5000 страниц.
Такая ситуация, у вас сотни товаров уже не нужны для продажи и требуется убрать их с сайта.
У каждого товара своя страница. Что вы сделаете, отдадите ошибку 404 на эти страницы или сделаете 301 редирект на морду?
Страница с похожими товарами возвращаемая с кодом 410. Гугл утверждает, что не делает разницы между 404 и 410, но согласно RFC на HTTP - правильный код ошибки в данном случае именно 410. Не могу смаштабировать г-доску объявлений на 5 лямов страниц до ИМ на 5к, но по нашей внутренней статистике googlebot возвращается на 404-е раза в 3 чаще, чем на 410-е, а живые пользователи предпочитают релевантный контент морде
Как я только не пробовал менять синтаксис, с кавычками писал переменные и без, цели я так и не достиг. В отчетах пользовательские переменные в GA падают как я говорил выше или константы или ничего если оставлять поле для переменной пустым.
1 - В переменных - ограничение на размер имя+значение 64байта, с учетом юникода это всего 32 символа, и вообще в отличии от событий - с русским они не очень дружат, поэтому лучше использовать английский, транслит и т.д.
2 - Скрипт (кроме собственно загрузки "ga.js") взять в
- В момент выполнения скрипта DOM может быть еще не (полностью) построен и все ваши "var login = $('.regForm input:first').val();" получаются UB
2.1 - "input:first" Оперой до сих пор не поддерживается 😡
3 - Использовать "_trackEvent" НЕ из обработчика событий крайне нежелательно - это "портит статистику" - даже если пользователь зашел на страницу и тут-же ее закрыл (тоесть bounce в чистом виде) - в результате отправки событий GA считает, посещение уже не как bounce, а как нормальное + exit
1) Через обычную форму - по 1 объявлению.
2) Через импорт эксел файла - сотни и тысячи объявлений за раз.
Разумеется и в том и в другом случае у объявлений минимум информации, так как прайсы особо не заполняются: название, цена (и возможно сейчас будет возможность импортировать с фото).
Стремиться к тому, чтобы объявлений первого типа было на на порядки больше, чем второго.
Даже у импортированного прайса между одинаковыми на первый взгляд позициями найдутся существенные отличия - как минимум это будет цена и информация об поставщике - все это тоже должно присутствовать на странице объявления и добавит ему уникальности. Желательно разметить все микроданными - товар, фирма(человек).
Внутренняя перелинковка нужна в любом случае - ссылки на несколько других (желательно аналогичных или сопутствующих) товаров и по возможности первые предложение-два из их описаний - и все страницы будут вполне себе уникальными.
Если вы легально импортите реальные предложения клиентов, которые заинтересованы в размещении своих товаров именно на вашем сайте - возможно у них уже есть красивые прайсы с подробными описаниями и т.д. С того-же яндех-маркет-а приходили достаточно неплохо и подробно заполненные прайсы, а с prom.ua - вообще описания товаров на несколько страниц уникального текста.
при использовании сч и вч из этого тайтла, страницу объявления можно искать бесконечно.
90% трафика с поисковиков на достаточно неплохо раскрученном сайте такого типа это именно НЧ, по ВЧ имеет смысл продвигать сам сайт а не отдельные объявления.
Есть кто, у кого был обвальный взлет? :) Или теперь в топе те сайты, над которыми не работали оптимизаторы :)
UA, ~3 ляма страниц в гугловском индексе. PR4 на главной и хз сколько десятков с PR4 внутренних. 85-90% трафика с поисковиков - на внутрение страницы с PR0 и менее 10 заходов в месяц.
На главный сайт гугловский трафик за май +~10% в сравнении с мартом и ~20% в сравнении с апрелем, прогнозы на июнь - 700-720K визитов с гугла и хотя-бы 850 всего.
Над сайтом работают скорее программисты :p
В конце марта перевели пару десятков сателитов из зоны RU на новый движок с разными вкусностями типа разметки микроданными, ежедневного скармливания гуглу актуальных сайтмапов, правильной внутренней перелинковкой и т.д. и отпустили их в "полноценную самостоятельную жизнь" заменив все линки на на главный соотв. внутренними. Судя по всему - в апреле именно они о отобрали 10% трафика.
Апрель-май - работа в штатном режиме, из того что могло повлиять на трафик - только закрытие некоторых дублей с помощью 301-ых или canonical links и измения верстки (с 100% сохранением внешнего вида) там где в превьюхах гугл вместо контента выделял меню, формы расширенного поиска и т.п. или отображал не те микроданные.
Т.е. получилась такая ситуация, что гугл видит несколько "разных" сайтов с одинаковым контентом, хотя на самом деле они являются одним сайтом.
Не совсем понял вашу проблемму. Ни пользователи ни боты в принципе не должны видеть URL-ов типа http://<site-ip>/..., только http:/<my-site-domain>/...
В качестве балансировщика для сотни-двух тысяч посетителей в день вполне справляется один nginx на самом дешевом root-server-е от хейзнера. Если этого недостаточно - дальнейшее масштабирование должно делаться уже на уровне DNS, при этом опять-же - никаких IP, только домены.
Этот контент с т.з. гугла получается скорее "ихним", чем "Вашим" 😡
- (1) позаботьтесь об том, чтобы скормить его googlebot-у первым (внутренняя перелинковка, которая строится при посщениях бота рулит)
- (2) пометьте его как "свой" с помощью microdata, microformats, rdf и т.д.
- (3) не отдавайте контент до того, как он проиндексирован на вашем сайте
Я заметил, что Google бот стал еще глупее, чем был прежде:
айпи это эдак 1993-ий год :) Нынче - сотни сайтов на одном IP - норма. Если IP ваш и полностью подконтролен - при HTTP запросе по IP - 301 на тот-же URL "вашего самого главного сайта", если нет - то там уже реклама от хостера, и скажите спасибо, что ее не "склеивают" к вашему сайту.
Для бота и аналитики - Настраиваемо как "Preferred domain" в "Webmaster Tools", плюс есть canonical URL (задуман для несколько других целей, но в качестве плацебо от паранойи тоже неплох).
Для пользователей - все абсолютные линки "на www.my-domain" и 301 с просто "my-domain".
out.cgi должен тупо возвращать 301 на http://www.domain.com/ и все будет ОК.
Если он возвращает нечто редиректящее через META REFRESH или JavaScript - проблемма не в боте, а в out.cgi