богоносец: Этот % в качестве примера... если боту приходится скачивать 100К страниц, из которых только у 3% нет <link rel="canonical" href="другой урл"/>, то какая будет скорость индексации?
Ах, в этом смысле, те в плане эффективности индексации? Даже не задумывался.
Но в таком случае ситуация еще хуже. Обе конкурирующие структуры уже открыты для индексации и с первой на вторую тотально стоит rel=canonical. Ожидаю от этого просто смены структуры в индексе, после чего страницы первого типа будут для индексации закрыты и гуглобот будет счастлив от того, что ему не придется прочесывать все это дважды.
Впрочем, не вижу никаких поводов для беспокойства относительно индексации. Гуглобот исправно забирает с сайта от 25к до 100к страниц в сутки, мне кажется ему глубоко наплевать сколько там миллионов страниц, его ресурсы представляются лично мне практически бесконечными.
С некоторых пор задумывался. Поэтому и ограничивал индексацию каким то относительно вменяемым ядром.
Вот только по поводу того, что индексить можно только 3% на данный момент уже есть обоснованные сомнения.
Лет пять назад квота на индексацию сайтов со стороны ПС была ярко выражена. Не знаю, что там у яндекса сейчас, но у гугла явно вижу, что квот в былом виде фактически нет. По запросу site:example.ru можно найти в индексе и 1 млн и 20 млн страниц. Причем там, где 20 млн, посещаемость однозначно выше по сравнению с тем, где 1 млн.
Sower: Если движок позволяет, можно прописать инструкции для каждого робота в самих страницах (в мета тегах).
Имеется в виду нечто типа <meta name="googlebot" content="noindex" />?
Но это от robots.txt реально мало чем отличается.
Более того оно так сейчас и сделано.
Яндексу только каталог, гуглю каталог и внутренний поиск. С яндесом все нормально, гугл, естественно, видит кучу дублей, кои хочется ликвидировать при помощи rel="canonical". Тут гугле будет хорошо, но что яндекс скажет на этот rel, который указывает на запрещенную для его индексации станицу? Вот в чем вопрос...
---------- Добавлено 20.05.2013 в 23:22 ----------
Covax: Я бы в данном случае сделал пересмотр семантики и упор не на продвижение страниц товаров, а реализовал, так скажем лэндинг категории
Нельзя ли немного развить эту мысль?
Приземлять поисковый трафик не на страницу товара, а на промежуточную страницу каталога с длинным списком этих кейвордов-товаров? Но их миллионы. Там плотность ключа будет фактически нулевая. Врят ли какой поисковик вообще сочтет такие страницы заслуживающим индексирования.
Не Совсем: Тогда почитайте федеральные законы о рекламе и о предоставлении он-лайн сервисов.
Пока не почитал, но уже интересно, о какой же все таки рекламе идет речь?
Сколько я с этой капчей ковырялся, ни разу не видел никакой рекламы и из разных браузеров и с разных компов. Показываются безобидные картинки, домики там, черепахи итп, детской порнографии ни разу не заметил. Как она хоть выглядит и в каком виде навязывается? А то мало ли...
Арендую несколько железок в H1.
Железки работают без проблем. Никаких отключений нет.
Ситуация конечно же достаточно неприятная, особенно неприятна неопределенность и вся эта анонимная мышиная возня.
Для успокоения позвонил по телефону, телефон живой, саппорт присутствует.
Сделал бэкапы, навел курсор на кнопку "сменить ДЦ", жду развития ситуации.
Рекомендую не тратить нервы и сделать то же самое и жить спокойно, рано или поздно ситуация прояснится.
Нажать на кнопку никогда не поздно.
Выяснили по НДС?
Пока рассматриваю предложения с НДС.
---------- Добавлено 08.10.2013 в 18:02 ----------
Готов к обсуждению, пару найдем, главное огласите по трафику.
Ответил в личку
---------- Добавлено 08.10.2013 в 18:08 ----------
Антон добрый день! В наличии есть сервера нужного вам конфига
Ответил в личку
---------- Добавлено 08.10.2013 в 18:14 ----------
Уточнение по трафику и сетевой конфигурации.
Трафик до 3 тб/мес с хоста.
Весь пул IP адресов должен быть доступен на обоих хостах чтобы виртуалки при миграции с хоста на хост не переконфигурировать.
И порты 1Гбит все таки для миграции.
Не совсем понятно, вам по 24 адреса к каждому серверу?
Каково будет реальное потребление трафика? А то шареды, они разные.
24 адреса на оба сервера.
Реальное потребление - сейчас за пару терабайт/мес не вылезает. Те немного.
---------- Добавлено 06.10.2013 в 02:24 ----------
Безнал без НДС (УСН) никак не пойдет?
Пока только теретически, выясню этот вопрос с понедельник.
Этот % в качестве примера... если боту приходится скачивать 100К страниц, из которых только у 3% нет <link rel="canonical" href="другой урл"/>, то какая будет скорость индексации?
Ах, в этом смысле, те в плане эффективности индексации? Даже не задумывался.
Но в таком случае ситуация еще хуже. Обе конкурирующие структуры уже открыты для индексации и с первой на вторую тотально стоит rel=canonical. Ожидаю от этого просто смены структуры в индексе, после чего страницы первого типа будут для индексации закрыты и гуглобот будет счастлив от того, что ему не придется прочесывать все это дважды.
Впрочем, не вижу никаких поводов для беспокойства относительно индексации. Гуглобот исправно забирает с сайта от 25к до 100к страниц в сутки, мне кажется ему глубоко наплевать сколько там миллионов страниц, его ресурсы представляются лично мне практически бесконечными.
Не задумывались о процессе?
С некоторых пор задумывался. Поэтому и ограничивал индексацию каким то относительно вменяемым ядром.
Вот только по поводу того, что индексить можно только 3% на данный момент уже есть обоснованные сомнения.
Лет пять назад квота на индексацию сайтов со стороны ПС была ярко выражена. Не знаю, что там у яндекса сейчас, но у гугла явно вижу, что квот в былом виде фактически нет. По запросу site:example.ru можно найти в индексе и 1 млн и 20 млн страниц. Причем там, где 20 млн, посещаемость однозначно выше по сравнению с тем, где 1 млн.
как оценивали?
Оценивал косвенно по открытым данным о посещаемости.
Она выше в 2-4 раза. При том, что по сути своей содержимое вообщем то достаточно однотипное.
так может вы упёрлись в ёмкость рынка?
Не похоже. Ибо конкуренты есть и трафика у них больше.
Если движок позволяет, можно прописать инструкции для каждого робота в самих страницах (в мета тегах).
Имеется в виду нечто типа <meta name="googlebot" content="noindex" />?
Но это от robots.txt реально мало чем отличается.
Более того оно так сейчас и сделано.
Яндексу только каталог, гуглю каталог и внутренний поиск. С яндесом все нормально, гугл, естественно, видит кучу дублей, кои хочется ликвидировать при помощи rel="canonical". Тут гугле будет хорошо, но что яндекс скажет на этот rel, который указывает на запрещенную для его индексации станицу? Вот в чем вопрос...
---------- Добавлено 20.05.2013 в 23:22 ----------
Я бы в данном случае сделал пересмотр семантики и упор не на продвижение страниц товаров, а реализовал, так скажем лэндинг категории
Нельзя ли немного развить эту мысль?
Приземлять поисковый трафик не на страницу товара, а на промежуточную страницу каталога с длинным списком этих кейвордов-товаров? Но их миллионы. Там плотность ключа будет фактически нулевая. Врят ли какой поисковик вообще сочтет такие страницы заслуживающим индексирования.
А что на счет socks5?
Я так понял, не поддерживаются?
А хотелось бы....
Тогда почитайте федеральные законы о рекламе и о предоставлении он-лайн сервисов.
Пока не почитал, но уже интересно, о какой же все таки рекламе идет речь?
Сколько я с этой капчей ковырялся, ни разу не видел никакой рекламы и из разных браузеров и с разных компов. Показываются безобидные картинки, домики там, черепахи итп, детской порнографии ни разу не заметил. Как она хоть выглядит и в каком виде навязывается? А то мало ли...