Так же, как и главную. Ссылками.
Можно пробовать что-то вроде inurl:"*fish*.ru/" - но работает не очень хорошо. Лучше сначала выбрать ВСЕ существующие домены, соодержащие Ваше слово и потом парсить результаты site:domain + Ваши определенные параметры.
<cite> - тег из выдачи гугл. Вы лучше конкретней сформулируйте задачу. Что в конечном итоге нужно?
не получится. Вам нужно взять список доменов зоны ru, выцепить оттуда нужные имена и парсить их по отдельности.
Для парсинга поисковых запросов из гугл очень хорошо подходит allsubmitter - быстро, если нужно выводит каптчу в окошке.
Перелинковывать нужно, в этом и смысл wheel. Естественно тематика общая, пополнение статьями регулярное, внешняя линкподдержка каждого ресурса.
Это понятно. Просто откуда тогда ошибка "Restricted by robots.txt". Хуже не будет :)
Сейчас нормально гугл отдает вашу страницу. Полагаю все-таки был взлом либо вас, либо спонсора (поставили редирект средствами js).
644, если не хотите чтобы все подряд в него писали. сделайте не пустой:
User-agent: *
Allow: /
Попробуйте создать.
Restricted by robots.txt - это значит запрещен через robots.txt. Его и курите.
Так же, как и главную. Ссылками.
Можно пробовать что-то вроде inurl:"*fish*.ru/" - но работает не очень хорошо. Лучше сначала выбрать ВСЕ существующие домены, соодержащие Ваше слово и потом парсить результаты site:domain + Ваши определенные параметры.
<cite> - тег из выдачи гугл. Вы лучше конкретней сформулируйте задачу. Что в конечном итоге нужно?
как пример: site:*din*.ru
не получится. Вам нужно взять список доменов зоны ru, выцепить оттуда нужные имена и парсить их по отдельности.
Для парсинга поисковых запросов из гугл очень хорошо подходит allsubmitter - быстро, если нужно выводит каптчу в окошке.
Перелинковывать нужно, в этом и смысл wheel. Естественно тематика общая, пополнение статьями регулярное, внешняя линкподдержка каждого ресурса.
Нахрена он нужен такой? Разрешить то, что разрешено по умолчанию? Это как светофор посреди поля поставить.
Это понятно. Просто откуда тогда ошибка "Restricted by robots.txt". Хуже не будет :)
Сейчас нормально гугл отдает вашу страницу. Полагаю все-таки был взлом либо вас, либо спонсора (поставили редирект средствами js).
644, если не хотите чтобы все подряд в него писали. сделайте не пустой:
User-agent: *
Allow: /
http://domain.com/robots.txt пустой вообще.....
Попробуйте создать.
Restricted by robots.txt - это значит запрещен через robots.txt. Его и курите.