13.02.2014 видеовтсреча в гугле. Тема - структура сайтов

Jaf4
На сайте с 03.08.2009
Offline
804
#21

Да нафиг нужно смотреть чьи-то сайты, мало на сайты насмотрелись?

ЫЫ Дудл.. надо запомнить :D

New! NVMe VPS от SmartApe.ru (https://goo.gl/eoYYkS)
E
На сайте с 21.09.2009
Offline
283
#22
iSeller:
Опыт достаточный, что бы не слушать бред вроде вашего.

в чем бред? Я Вам привел четкий пример, что роботс работает. В ответ только "покажи сайт" слышу. Вы просто не умеете файл роботс готовить, как и писал уже. Не пыжились бы уже.

Вот Лору задал вопрос он и пропал. И правильно он сделал, ответить то нечего.

I
На сайте с 19.12.2011
Offline
90
#23
easywind:
в чем бред? Я Вам привел четкий пример, что роботс работает. В ответ только "покажи сайт" слышу. Вы просто не умеете файл роботс готовить, как и писал уже. Не пыжились бы уже.
Вот Лору задал вопрос он и пропал. И правильно он сделал, ответить то нечего.

В вашем примере явно видно что Дудлу плевать на роботс. Мне надоело говорить с Дудлолизом, когда появятся аргументы и пример, как при помощи роботс был закрыт доступ к странице, тогда и поговорим. А пока ваша теоретика основанная на правилах Дудла мне не интересна. Все что вы во мне вызываете, это умиление, ваша слепая вера в Дудл и поклонение, иногда даже омерзительно. Есть такая фраза "Хоть ссы в глаза - все божья роса", она очень точно характеризует вас. Извините если обидел, просто надоело с вами спорить, говорю как есть.

P.S. Хоть Ортопеду задавайте вопрос, мое мнение это не изменит. 😂

Продажа оригинальной продукции Apple в Москве Apple-Seller.ru (http://apple-seller.ru/). Отличный VPS/VDS хостинг для сайтов в Inferno Solutions (http://cp.inferno.name/aff.php?aff=1489).
T1
На сайте с 03.05.2011
Offline
35
#24

iSeller. пройдитесь по постам-ответам easywind, можно было не отвечать, просто в игнор.

Mik Foxi
На сайте с 02.03.2011
Offline
1016
#25
easywind:
на встрече, Липатцев четко ответил, что файл роботс управляет сканированием, но никак не индексированием. Где написано, что он управляет индексированием?

послушай гугла и сделай наоборот. на личном опыте не раз убеждался. роботс запрещает контент выкладывать в индекс. а страницы гуглом вполне посещаются. недавно снова с этим сталкивался. был технический домен с кучей страниц, на которые есть ссылки с других сайтов. в роботс закрыт, в вебмастере версия роботса актуальная с запретом. а гугл эти 100500 страниц и дальше мучал ежедневно, пока его хтасесом не заблочил.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ru.html
-S
На сайте с 10.12.2006
Offline
Модератор1280
#26

foxi, роботс - это рекомендация боту, а не обязательное правило.

А вообще эти все советы официальные и рассказы - бредни, нужно только самому наблюдать и делать выводы.

I
На сайте с 19.12.2011
Offline
90
#27

Что бы больше не выносить мозг себе и товариСчу easywind. Что такое Robots.txt. Черным по белому написано, "для управления индексацией сайта". А вот учитывает его Дудл или нет, это уже другая история. Достаточно что его учитывает и избавляет меня от проблем Яндекс. То что Дудл давно хочет стандартизировать интернет под себя, ни для кого не секрет, видимо кроме easywind. Больше мне добавить нечего.

---------- Добавлено 15.02.2014 в 22:35 ----------

foxi:
послушай гугла и сделай наоборот. на личном опыте не раз убеждался. роботс запрещает контент выкладывать в индекс. а страницы гуглом вполне посещаются. недавно снова с этим сталкивался. был технический домен с кучей страниц, на которые есть ссылки с других сайтов. в роботс закрыт, в вебмастере версия роботса актуальная с запретом. а гугл эти 100500 страниц и дальше мучал ежедневно, пока его хтасесом не заблочил.

В Гугл robots, не панацея от таких страниц, на самом деле сами Гугловцы не могут сказать, как избавиться от несуществующих или ненужных страниц. Более того бот Гугла иногда сам додумывает эти адреса, из чего он исходит не известно. Все мои вопросы, касаемо выдуманных адресов, адресованные Липатцеву, были проигнорированы, у него нет ответа на эти вопрос. В видео видно, что ответа опять на указанный вопрос нет, лишь рекомендация удалить все в ручную. Его предложение создавать роботс заранее, тоже может быть мною опровергнуто, буквально месяц назад, на хостинг был залит абсолютно новый сайт, на абсолютно новый домен, без истории, с корректно составленным robots.txt. Однако утверждение, что в данном случае Гугл должен был все правильно понять и не индексировать страницы фильтра, было провалено. Гугл проиндексировал все и указал что доступ к контенту запрещен в Robots.txt, ну и для наглядности сам Robots.txt закинул в дополнительный индекс. Связать это с ошибками движка не могу, два сайта, два разных движка.

E
На сайте с 21.09.2009
Offline
283
#28
-= Serafim =-:
А вообще эти все советы официальные и рассказы - бредни, нужно только самому наблюдать и делать выводы.

а я и наблюдаю:

http://www.duma.gov.ru/robots.txt

https://www.google.kz/#q=site:www.duma.gov.ru

в индексе 7 страниц которые скорее всего попали до запрета + на поддомейнах нет запрета на сканирование и они проиндексированы. Можете это наблюдение объяснить?

---------- Добавлено 16.02.2014 в 03:09 ----------

iSeller:
В вашем примере явно видно что Дудлу плевать на роботс.

так сайта то думы, нет в индексе кроме 7ми страниц. Снова скажите, что я ничего не понимаю? Или снова оскорблять будете? :)

-S
На сайте с 10.12.2006
Offline
Модератор1280
#29
easywind:
а я и наблюдаю:
http://www.duma.gov.ru/robots.txt
https://www.google.kz/#q=site:www.duma.gov.ru
в индексе 7 страниц которые скорее всего попали до запрета + на поддомейнах нет запрета на сканирование и они проиндексированы. Можете это наблюдение объяснить?

https://www.google.ru/#filter=0&newwindow=1&q=site:www.duma.gov.ru

Что объяснить? Дана рекомендация не индексировать, в индексе страницы есть, но скрыты в большей мере. К чему это вы мне вообще пишете?

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс.

https://support.google.com/webmasters/answer/156449?hl=ru

E
На сайте с 21.09.2009
Offline
283
#30
-= Serafim =-:
К чему это вы мне вообще пишете?

Вы самый опытный из митингующих. Не так ли?

-= Serafim =-:
URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс.

ключевое слово "URL", а страниц нет в индексе + те, у которых написано "закрыты в роботс" редиректятся на внутренние поддомены. И URL в ранжировании и поиске не участвуют.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий