Дмитрий, спасибо за ответы!
Несколько уточнений. Т.е. загружено - это все, что бот нашел, вне зависимости от разрешений и запретов в robots? Верно?
Я там бываю. Там просто очень долго не было списка URL, а были только коды ответов (сайт новый, 4 недели). Сейчас я увидел там списки URL, пару дней назад их не было. В целом все ясно, Яша схватил часть красных URL (они запрещены в robots и тест на доступность не проходят - красный результат). Надеюсь, что попозже Яша их выкинет. Но факт, что он по ним пошел несмотря на рабочий запрет.
Впрочем, это не есть корень проблемы! Проблема оказалась куда проще. Движок OpenCart затраивает карточки продуктов по разным URL с разной структурой. Это и дало 600 URL при 160 продуктах. В sitemap затраивание убрал, а вот с редиректами - куда сложнее. Ровно как и написать один фильтр на все не удается из-за структуры ЧПУ. Буду думать как быть. Косяк движка.
Да там слезы, 5 страниц. И я тоже надеюсь, что они уйдут со временем.
Имею сайт со 160 уникальным продуктами через ЧПУ (они же прописаны в sitemap). Уникальный URL всего <600. Не ЧПУ-шны URL закрыты в robots и это факт, так как я проверял все URL с параметрами - все красные. Яша же нашел на сайте 1000 URL, при том, что в поиске всего 100 URL.
Внимание, вопрос: Яше что пофиг на ограничения в robots.txt и он все равно по ним ходит (загружает)? Даже если URL-параметры образуют количество уникальных URL x в степени n? Яша что слепая лошадь и будет пахать пока не упадет?
Просто всякие тестировщики сайтов, типа Screaming Frog, сразу следуют robots.txt, выдавая <600 уникальных URL, после чего обход заканчивают. Так что же Яша там пыжится? Ему там еще пахать и пахать месяцами. Он так может не найти страницы с контентом, которые разрешены, тем более, что с парсингом sitemap у него проблемы, чтоб мне подтвердили в техподдержке (файл sitemap есть, а Новый сервис webmaster неделями говорит, что sitemap не найден).
Пользователям описания не нужны, это проф. B2B-товар. Ламеров там нет, все ищут предложение получше.
Спасибо большое за мнения. Отвечу чуть позже - сейчас есть другой злободневный вопрос.
Как лучше выкидывать новые карточки товаров на сайт (по сути - новые URL) типа интернет-магазин? Начал со 150 страниц со своим контентом от 20 до 100%, сейчас есть еще 1200 страниц, которые могут вылить в одну минуту (парсер все подхватит и сделает ЧПУ, мета, тайтлы). Но я вот думаю, правильно ли это, выливать такую массу контента или кормить коней (Яшу и Гошу) более мелкими порциями?
Всем спасибо за ответы!
1. Посоветуйте хорошую площадку с ЛК по закупке ссылок.
2. И что есть качество донора, как я его оценю, закупая у кого-то?
3. И все же, если я пока даже не в индексе, стоит ли закупать ссылки прямо сейчас? Я же не смогу отследить изменение позиций даже - выдача будет скакать первое время сама.
