Kost, конечно, я не ожидаю, что сражу изменения вступят в силу, просто после прописки того роботса, что я выложил уже появились в индексе новые урлы, которые вроде как не должны попасть в индекс, потому как закрыты в роботсе... После этого собственно и был создан уже топик, я просто подумал, что походу не так чего-то делаю, но тем не менее в топике приходим к тому, что вроде как все так...
Остатется только полагать, что робот сразу обошел весь сайт, но не сразу появились результаты его обхода, а теперь выкладываются результаты его обхода но постепенно, будто бы как он несколько раз уже после этого зашел, а на самом деле выкладываются результаты его прошлого обхода, вот это возможно может быть...
Указал, действительно выдает, но дело в том, что урлы в индексе все равно появляются (сайт только выложил в индекс), как такое может быть... Т.е. запрет я поставил и значит запрет правилно стоит, но урлы эти продолжают индекситься... Вот в чем фигня и именно поэтому топик завел...
terrell добавил 21.12.2010 в 23:56
Словом ощущение, что этот роботс не работает просто... Хотя сейчас приходим к тому что вроде как все правильно прописал... А урлы продолжают индекситься...
Str256, при этом выдается: "Проверка невозможна, так как имя хоста не было указано"
terrell добавил 21.12.2010 в 23:39
Seo-Seo, ссылки ставить на них не планирую, а появляться они думаю врят ли будут в общирном количестве, потому как это речь об интернет магазине, думаю сами понимаете, что люди сейчас жопятся на ссылки, особенно если сайт коммерческий, поэтому много ссылок - это врят ли, но хочу закрыть каталог, потому как изменить именно описашки товаров нет возможности, но неуник контент поисковикам не нужен... Т.е, я могу лишь остальной контент поменять, кроме каталога, поэтому и хочу закрыть... А то, что ссылок много появится - ну очень уж сомневаюсь...
Вобщем сделал просто перечислением всех таких урлов, так как урлы все известны и их адрес меняться не будет, появление других тоже не превидится... За ограничения размера robots не вылезаю, там всего порядка 40 таких урлов...
terrell добавил 21.12.2010 в 21:22
Str256, проверку то я такую делал, но просто эта проверка показывает лишь то, что нет ошибок в файле robots и что такие-то директивы выполнятся... Но там эта проверка не показывает какие урлы будут запрещены...
С точки зреия синтаксиса тоже такие записи должны запрещать адреса, начинающиеся с /200/ там, /110/, /500/
Второй момент, что адреса урлов там формируются через css с помошью div и class, а не с помошью ссылок на определенные файлы через <a href ...> </a> Возможно именно в этом и проблема...
Правила robots то я читал, но я бы не создавал топик если бы все так просто было, поэтому решил перечислением попробовать...
Ну 315 для примера привел, т.е вот тут возникает проблема:
Disallow: /200
Disallow: /210
Disallow: /500
Disallow: /110
Адреса вида:
www.domen.ru/200/09288
www.domen.ru/200/98737
www.domen.ru/200/68727
и т.д.
www.domen.ru/210/12637
www.domen.ru/210/28727
и т.д
тоже самое с 500 и 110
вот такие урлы хочу закрыть...
Сейчас такой:
# DEFAULT:BEGIN
User-agent: *
Disallow: /admin
Disallow: /content/_publication
Disallow: /content/_site
Disallow: /content/_tmp_transaction
Disallow: /content/_search_cache
Disallow: /content/poll
Disallow: /system
# DEFAULT:END
# USER_EDIT:BEGIN
Disallow: /home
# USER_EDIT:END
xpress, Дело однозначно не в ссылках на партнерки и не в том какой шаблон используется на блоге уникальный или нет. В индексе яндекса думаю немало сайтов да и блогов на wordpress с неэксклюзивным шаблонным дизайном...
Я в конце апреля этого года тоже завел блог на вордпресс, там и партнерки естественно висят, и шаблон у меня не эксклюзивный, правда я платный покупал... Но у меня он в индексе яши - все ок... Единственное, что новые посты появляются в индексе яши не сразу, хотя и пинг стоит, а в индексе гули новый пост появляется после нажатия "опубликовать"... Но вот роботс я практически сразу прописывал...
Заказывал прогон по тарифу 5, до этого сайт не прогонялся по каталогам. Качество выполненной работы просто отличное! Отчет получил сегодня - пришло 2542 письма. Но самое главное - в индексе гугла уже есть порядка 20 ссылок с каталогов!!! В индексе яндекса тоже около 10 ссылок с каталогов тоже сегодня появились - и это ведь отчет получен сегодня, но уже есть пусть небольшие пока но результаты!!! Причем сравнивал позиции сайта в гугле до прогона и сегодня смотрел - уже начался рост позиций!!! Яндекс пока особо не мониторил потому как он дольше гули обычно думает и ему время надо побольше, просто уже не раз убеждался, что в отношении новых сайтов он долго думает по сравнению с гуглом...
Также планирую разместиться еще и в закрытой сетке ТС, и скажу, что сетка сделана очень грамотно с точки зрения seo, вобщем я считаю, что при изготовлении сетки соблюдены все меры предосторожности от бана поисковиков, которые только можно было применить при изготовлении сетки, следовательно сетка такая должна долго жить, поэтому я естественно непременно в ней размешусь...
Вобщем, команде большой респект за отличное качество работ и предоставляемых услуг!
futuristian, Там сложно прикинуть сколько ожидается, но скажем в том регионе есть потребность в качественном инете, скорость подключения по максимуму мне знакомый сказал 300 чел за год смогут подключать с момента как все запустится, а сколько их там в конечном итоге окажется неизвестно... Но скажем это не такой крупный город как Москва или Питер... Словом я как понял - нужно определиться с выбором биллинговой системы, а уже интернет портал впринципе может быть на чем угодно сделан? А какие биллинговые системы на ваш взгляд лучше?
futuristian, А какие хорошие считаются из таких биллинговых систем? Такая система это понятно она в любом случае нужна, просто как говорится не доводилсь работать в конторах по интернет-провайдерству и поэтому слабое представление имею как это все организовывается, плюс я так полагаю биллинговая система это оборудование и соответствующий программный комплекс который все обрабатывает, и вот я слабо представляю момент как вот этот биллинг уже увязать с интернет порталом? Т.е. либо там все полностью делается на этой биллинговой системе, либо же портал отдельно делается и он уже забирает данные по статистике из этой биллинговой системы и в кабинетах пользователя отражает? Вот мне доводилось работать в сотовой компании, там естественно тоже биллинговая система своя, но там это вссе выводилось скажем на рабочие терминалы и интернет портала там контора вообще не имела, был просто отдельный сайт... В случае интернет провайдинга я полагаю, что биллинговая система тоже даст нечто подобное, но без самого интернет портала... Правильно ли я понимаю? Следовательно если она самаго интернет портала не предусматривает, а предусматривает лишь например управление с рабочих станций, то тогда получается что сам портал на чем-то отдельно нужно делать и как-то все это дело увязывать...
