13.02.2014 видеовтсреча в гугле. Тема - структура сайтов

Да нафиг нужно смотреть чьи-то сайты, мало на сайты насмотрелись?

ЫЫ Дудл.. надо запомнить :D

в чем бред? Я Вам привел четкий пример, что роботс работает. В ответ только "покажи сайт" слышу. Вы просто не умеете файл роботс готовить, как и писал уже. Не пыжились бы уже.

Вот Лору задал вопрос он и пропал. И правильно он сделал, ответить то нечего.

В вашем примере явно видно что Дудлу плевать на роботс. Мне надоело говорить с Дудлолизом, когда появятся аргументы и пример, как при помощи роботс был закрыт доступ к странице, тогда и поговорим. А пока ваша теоретика основанная на правилах Дудла мне не интересна. Все что вы во мне вызываете, это умиление, ваша слепая вера в Дудл и поклонение, иногда даже омерзительно. Есть такая фраза "Хоть ссы в глаза - все божья роса", она очень точно характеризует вас. Извините если обидел, просто надоело с вами спорить, говорю как есть.

P.S. Хоть Ортопеду задавайте вопрос, мое мнение это не изменит. 😂

iSeller. пройдитесь по постам-ответам easywind, можно было не отвечать, просто в игнор.

послушай гугла и сделай наоборот. на личном опыте не раз убеждался. роботс запрещает контент выкладывать в индекс. а страницы гуглом вполне посещаются. недавно снова с этим сталкивался. был технический домен с кучей страниц, на которые есть ссылки с других сайтов. в роботс закрыт, в вебмастере версия роботса актуальная с запретом. а гугл эти 100500 страниц и дальше мучал ежедневно, пока его хтасесом не заблочил.

foxi, роботс - это рекомендация боту, а не обязательное правило.

А вообще эти все советы официальные и рассказы - бредни, нужно только самому наблюдать и делать выводы.

Что бы больше не выносить мозг себе и товариСчу easywind. Что такое Robots.txt. Черным по белому написано, "для управления индексацией сайта". А вот учитывает его Дудл или нет, это уже другая история. Достаточно что его учитывает и избавляет меня от проблем Яндекс. То что Дудл давно хочет стандартизировать интернет под себя, ни для кого не секрет, видимо кроме easywind. Больше мне добавить нечего.

---------- Добавлено 15.02.2014 в 22:35 ----------

В Гугл robots, не панацея от таких страниц, на самом деле сами Гугловцы не могут сказать, как избавиться от несуществующих или ненужных страниц. Более того бот Гугла иногда сам додумывает эти адреса, из чего он исходит не известно. Все мои вопросы, касаемо выдуманных адресов, адресованные Липатцеву, были проигнорированы, у него нет ответа на эти вопрос. В видео видно, что ответа опять на указанный вопрос нет, лишь рекомендация удалить все в ручную. Его предложение создавать роботс заранее, тоже может быть мною опровергнуто, буквально месяц назад, на хостинг был залит абсолютно новый сайт, на абсолютно новый домен, без истории, с корректно составленным robots.txt. Однако утверждение, что в данном случае Гугл должен был все правильно понять и не индексировать страницы фильтра, было провалено. Гугл проиндексировал все и указал что доступ к контенту запрещен в Robots.txt, ну и для наглядности сам Robots.txt закинул в дополнительный индекс. Связать это с ошибками движка не могу, два сайта, два разных движка.

а я и наблюдаю:

http://www.duma.gov.ru/robots.txt

https://www.google.kz/#q=site:www.duma.gov.ru

в индексе 7 страниц которые скорее всего попали до запрета + на поддомейнах нет запрета на сканирование и они проиндексированы. Можете это наблюдение объяснить?

---------- Добавлено 16.02.2014 в 03:09 ----------

так сайта то думы, нет в индексе кроме 7ми страниц. Снова скажите, что я ничего не понимаю? Или снова оскорблять будете? :)

https://www.google.ru/#filter=0&newwindow=1&q=site:www.duma.gov.ru

Что объяснить? Дана рекомендация не индексировать, в индексе страницы есть, но скрыты в большей мере. К чему это вы мне вообще пишете?

https://support.google.com/webmasters/answer/156449?hl=ru

Вы самый опытный из митингующих. Не так ли?

ключевое слово "URL", а страниц нет в индексе + те, у которых написано "закрыты в роботс" редиректятся на внутренние поддомены. И URL в ранжировании и поиске не участвуют.