Robots TXT opencart

Robots TXT opencart

OpenCart Software Solutions

Начнём с небольшого экскурса на тему для чего нужен свод правил для поисковых роботов в виде файла robots.txt.
Как известно, в этом текстовом файле описываются разделы, страницы или файлы сайта, которые должны быть проиндексированы или проигнорированы роботами поисковых систем (ПС). Кроме того, там могут быть описаны условия поведения роботов на сайте, такие как частота сканирования или параметры сканирования. Более подробную информацию можно получить на одноименном ресурсе по адресу http://robotstxt.org.ru.
Создание файла robots.txt преследует как минимум две цели:
1) Исключение страниц из поискового индекса той или иной поисковой системы;
2) Оптимизация нагрузки на сайт со стороны поисковых роботов.
Руководствуясь первой целью, владелец сайта, как правило, заботится о позициях ресурса в поисковых выдачах через релевантные страницы, которые не должны повторяться в процессе индексации. Другими словами, страницы с повторяющимися или неактуальными данными должны быть исключены.
Наконец стоить помнить, что отсутствие правил для поисковых роботов и сетевых сканеров делает поведение последних, без преувеличения, агрессивным. То, что большая часть оплаты за хостинг уходит на роботов, признают немногие. И только немногие при создании такого файла как robots.txt преследуют вторую цель.
В Интернете довольно много примеров файла robots.txt для OpenCart. Остановимся на типовом упрощённом варианте и рассмотрим его особенности ниже:

User-agent: *
Disallow: /catalog/view/theme/default/
Disallow: /catalog/view/javascript/
Disallow: /*?
Allow: /index.php?route=feed/sitemap_pro
Allow: /index.php?route=product/category&path=*
Allow: /*?path=*
Allow: /index.php?route=product/product&product_id=*
Allow: /index.php?route=product/product&path=*
Allow: /*?product_id=*
Allow: /index.php?route=information/information&information_id=*
Allow: /index.php?route=product/special User-agent: YandexImages
Disallow: /
Allow: /image/cache/ User-agent: Googlebot-Image
Disallow: /
Allow: /image/cache/ User-agent: msnbot-media
Disallow: /
Allow: /image/cache/ Sitemap: http://domain.com/index.php?route=feed/sitemap_pro Такой поисковик как Google «всеяден» (другие не исключение) — всё что не запрещено, то может быть проиндексировано. Часто индексируются элементы интерфейса (картинки, стили, скрипты), которые создают только «мусор» для поисковой выдачи и лишнюю нагрузку на сайт. Поэтому для всех ПС без исключения запрещаем индексировать оформление сайта (для шаблона default).
Дальше, обратите внимание, в данном примере не перечисляются динамические пути, т.е. относительные ссылки с параметрами. Вместо этого определён полный запрет для них через правило Disallow: /*? и последующее разрешение необходимых нам путей с использованием директивы Allow.
Сделано это по нескольким причинам. Во-первых, перечислить все возможные ссылки с динамическими параметрами при большом количестве модулей затруднительно. Помните, что Google обрабатывает блоки кода JavaScript и извлекает относительные пути (формирует ссылки) из запросов типа Ajax. Во-вторых, некоторые разработчики поисковых систем считают себя «особенными», например команда Mail.Ru, которая периодически меняет User-Agent поискового робота и последовательность параметров в URL при индексации (если робот встретит правило Disallow: /*?sort, то он перестроит запрос таким образом, чтобы параметр sort в ссылке шел после амперсанда &).

Теперь о медиаконтенте. Последнее время базы данных ПС по изображениям переполнены данными, в связи с этим появление картинок в индексе происходит со значительной задержкой, года три назад об этом сообщал Яндекс. Похоже ситуация не особо изменилась, поскольку при отсутствии явных инструкций для медиа-роботов, индексация по изображениям не выполняется (или выполняется со значительной задержкой, на усмотрение ПС). Поэтому блоки с соответствующими директивами User-Agent должны быть указаны отдельно, а индексация разрешена строго по определенному пути (для OpenCart это /image/cache/).
В заключении хотелось бы предупредить начинающих, что создавая файл свода поисковых правил, вы как бы публикуете подобие карты сайта, не только для поисковых роботов, но и для сетевых сканеров, направленных на поиск уязвимостей и парсинг. Не стоит прописывать пути, которые в контенте не встречаются или недоступны для гостевой учётной записи. Например, такие пути как /admin/ или /download/.
Для магазинов с индивидуальным дизайном и множеством модулей может потребоваться тонкая (расширенная) настройка. Автор блога готов взяться за соответствующий анализ сайта и создание оптимального файла robots.txt.

Правильный robots.txt

980.00 руб
Скачать/Купить дополнение
Генератор robots.txt, Модуль для Opencart — веб-студия NeoSeo
Зачем нужен файл robots.txt в Интернет-магазине на OpenCart? Первый, ну или второй шаг по поисковому продвижению сайта (SEO) — это создание файла robots.txt. АКЦИЯ! При покупке наших модулей — адаптация под вашу тему оформления в ПОДАРОК! Детальнее об акции:
Файл robots.txt является руководством по индексированию сайта для роботов и нужен для того, чтобы роботы понимали какие страницы можно сканировать, а какие — нельзя.
Все это хорошо, скажете вы, но нужен ли модуль для формирования robots.txt, если есть куча готовых примеров. Да, нужен, и вот почему. Берем одну из строчек шаблона готового примера:
Disallow: /*route=account/ Это означает что робот не должен сканировать разделы сайта, относящиеся к личному кабинету. Все хорошо? Нет! Наверняка у вас стоит менеджер ЧПУ для технических разделов сайта и тогда авторизация в личном кабинете выглядит вот так:
/login А это означает что вышеописанное правило уже не подходит для этой ссылки. Что же делать? Вам нужно выяснить какие ссылки соответствуют каждому техническому разделу сайта и вписать их вместо общих, но уже бесполезных конструкций.
Соответственно вместо этого:
Disallow: /*route=account/ У вас должно быть, скоре всего, вот так:
Disallow:/accountDisallow:/registerDisallow:/loginDisallow:/logoutDisallow:/lost-passwordDisallow:/edit-accountDisallow:/addressesDisallow:/vouchersDisallow:/reward-pointsDisallow:/wishlistDisallow:/newsletterDisallow:/ordersDisallow:/transactionsDisallow:/returnsDisallow:/request-returnDisallow:/downloads Вы не хотите ручками проверять каждую из 30-ти технических ссылок и вписывать их в файл по 2 раза каждую? Покупайте наш модуль и избавьте себя от головной боли!
Attention, только в NeoSeo:
1. Пробуйте бесплатно. Напишите на почту: license@neoseo.com.ua или оформите заявку на сайте, и мы выдадим вам тестовую лицензию на 14 дней бесплатно, чтобы вы все прощупали своими руками.
А чтобы эта процедура произошла максимально оперативно, пожалуйста, укажите:
— основной домен сайта для активации лицензии, например, https://neoseo.com.ua
— версию OpenCart
— версию php
При покупке лицензии обязательно указывайте доменное имя, если хотите получить лицензию максимально быстро! После покупки мы отправим Вам автоматическое письмо на указанную почту, где сообщим о дальнейших шагах. Пожалуйста, проверяйте папку «СПАМ». А если письма там нету, пишите в ЛС, найдем ).
2. Все обновления к купленным модулям — бесплатно и навсегда.
3. Техническая поддержка и оперативные ответы на вопросы — бесплатно и навсегда.
4. NEW! Помощь в установке и устранении ошибок при установке модулей — бесплатно и навсегда, но в порядке общей очереди.
5. NEW! Оперативный удаленный помощник по TeamViewer по специальному тарифу, 15 мин. — 369 руб. для тех, кому нужно уже, не дожидаясь бесплатной поддержки, которая предоставляется в порядке общей очереди.
Если у Вас есть вопросы, пожалуйста, напишите в ЛС или на info@neoseo.com.ua или позвоните нам:
Россия, все звонки бесплатно
8 800 551 94 15
Украина: +380 67 67 07 647 +380 63 71 70 763
+380 50 34 58 565
МЫ РАБОТАЕМ:
Понедельник-пятница
с 9-00 до 19-00 по Киевскому времени
Суббота и Воскресенье
— выходные дни!
Лицензионные условия.
Пожалуйста, внимательно читайте то, что написано на странице каждого модуля в инструкции
по установке и обновлениям:
Нельзя устанавливать модуль не имея лицензии!
1. Лицензия вместе с файлами отправляется автоматически, сразу после оплаты! Во избежание проволочек с выдачей лицензии
обязательно заполняйте поля: домен, версии php и OpenCart
2. Распакуйте и загрузите ключ в корень сайта, рядом с robots.txt
3. Распакуйте архив с модулем и загрузите содержимое папки upload на сайт
4. Установите модуль посредством меню Дополнения / Модули
5. Установите права на просмотр модуля нужным пользователям
6. Зайдите в настройки модуля, укажите нужные параметры и сохраните настройки.
ВАЖНО! Если вы видите сообщение о том, что файл лицензии не найден, не переходите к этапу #7.
В таком случае ознакомьтесь со статьей https://neoseo.com.ua/otsutstvuet-fayl-licenzii
или напишите нам на support@neoseo.com.ua, мы поможем выявить причину не активации лицензии. Если вы убедились в том, что модуль видит лицензию, вы можете переходить к следующему пункту.
7. Обновите модификаторы (Дополнения / Модификаторы)
Общий порядок обновления модулей:
Советы:
Пробуйте бесплатно!
Напишите на почту: license@neoseo.com.ua и мы выдадим вам тестовую лицензию на 14 дней!
Важно. Условия бесплатной и платной
информационной и технической поддержки.
Очень часто спрашивают:
Преимущества модулей от NeoSeo:

Посмотреть работу модуля вы сможете тут:
https://demo.neoseo.com.ua/admin
логин: admin
пароль: admin
Пожалуйста, ознакомьтесь с полным перечнем наших модулей здесь: https://neoseo.com.ua/moduli-dlya-opencart/
Нажмите здесь http://prntscr.com/j1n8xn, чтобы быть в курсе всех обновлений.
Уважаемые покупатели, скажите, что может быть лучше для развития модуля, чем публичные обсуждения и отзывы?
Мы уверены это хороший стимул предоставлять услуги еще лучше ).
Пожалуйста, все вопросы для обсуждения пишите здесь:
Также, очень рекомендуем Вам, купить и другие наши продукты, которые пригодятся в абсолютно любом магазине.
Спасибо, что вы с нами, всегда рады помочь развитию вашего онлайн-бизнеса!
Веб-студия NeoSeo — полноценная Команда, решаем любые вопросы оперативно и качественно.
ФУНКЦИОНАЛ НАЗВАНИЕ И ОПИСАНИЕ ССЫЛКИ ИНСТРУМЕНТЫ для
SEO ПРОДВИЖЕНИЯ:
1. SEO-Фильтр. Кроме того, что этот модуль предназначен для создания фильтров, он позволяет создавать сотни или даже тысячи специальных посадочных страниц, чтобы получать из поисковой выдачи средне и низко-частотный трафик бесплатно 2. Генератор robots.txt, без которого поисковые роботы проиндексируют ненужные страницы и понизят вам релевантность
3. Отслеживание битых ссылок, чтобы не терять трафик впустую 4. Модуль создания редиректов, который позволяют починить битые ссылки 5. Источник заказа, чтобы отслеживать эффективность рекламных кампаний ПОВЫШЕНИЕ ПРОДАЖ: 1. Выгрузка товаров на Prom.ua, Ava.ua, Hotline, Facebook.com, Яндекс.Маркет, Nadavi.net, Price.ua, Torg.mail.ru и др. прайс-агрегаторы, Модуль для Opencart от веб-студии NeoSeo, который позволяет выгрузить данные для прайс агрегаторов
ОБРАБОТКА ТОВАРОВ: 1. Водяной знак, который позволяет автоматически наложить изображение водяного знака на все ваши товары
2. Обмен с 1С Предприятие 3. Удаление неиспользуемых картинок, без которого ваш каталог с изображениями может порвать хостинг ОБРАБОТКА ЗАКАЗОВ: 1. Товарный чек Добавил neoseo Добавлено 24.06.2015 Категория SEO, карта сайта, оптимизация Системные требования PHP 5.3 — 7.1 Ioncube Loader 6 и выше Сайт разработчика https://neoseo.com.ua Старая цена Метод активации Автоматическая активация
Через официальный сайт дополнения Ioncube Loader Требуется OpenCart 2.3
2.2
2.1
2.0
1.5.6.4
1.5.6.3
1.5.6.2
1.5.6.1
1.5.6
1.5.5.1
1.5.5
1.5.4.1
1.5.3.1 ocStore 2.3
2.2
2.1
1.5.5.1.2
1.5.5.1.1
1.5.5.1
1.5.4.1.2
1.5.4.1.1
1.5.4.1
1.5.3.1
1.5.2.1
1.5.1.3 OpenCart.Pro, ocShop Не проверялось Обращение к серверу разработчика Нет

Как проверить файл robots.txt

Нарушение правил составления файла и ошибки синтаксиса будут неоднозначно пониматься поисковыми ботами, что недопустимо. После составления сложных файлов robots, их нужно проверить на специальных серверах. Вот лучшие из них.

Во-первых, откройте в браузере сам добавленный файл. Для этого откройте файл ваш_магазин.ru/robots.txt. Вы должны увидеть ваш файл robots.

Важно, проверить файл в инструментах веб-мастеров Яндекс () и Google () есть специальные инструменты проверки ошибок в файле robots. Для использования этих инструментов, вам нужно получить аккаунты и добавить свой магазин в инструменты.

проверить файл robots.txt на Яндекс вебмастер

Если, по каким либо, причинам, вы не работаете с инструментами веб-мастеров, воспользуйтесь для проверки одним из валидаторов robots.txt.

  • Seochat: Общая проверка по всем ботам
  • Technicalseo: Выборочная проверка по отдельным ботам.
  • Lxrmarketplace: Проверка по URL или загрузке файла.
  • Visiospark: Мощный валидатор и генератор
  • Еще: Duplichecker

>Генераторы robots

Эти инструменты помогут составить правильные файлы индексации.

  • pr-cy.ru
  • seolib
  • owlweb.ru
  • topodin

Зачем нужен robots.txt?

Robots.txt это текстовый файл который содержит инструкции роботам для индексации сайта. Другими словами, мы говорим Google и Яндексу какие страницы мы хотим видеть в поисковой выдаче, а какие нет. Вот так выглядит сайт типографии с «кривым» файлом robots, в выдачу попадают макеты, технические страницы и прочий мусор. Эти некачественные страницы конкурируют с целевыми, сделанными под коммерческие запросы:

Неправильный robots.txt

В случае с Opencart, нам нужно закрыть все страницы относящиеся к личному кабинету, оформлению заказа, регистрации и т.д.

Зачем еще его можно использовать

  • Для закрытия всего сайта при его разработке и наполнении товарами.
    На этом этапе обычно url часто меняются и пересоздаються. Чтобы ваш сайт НЕ индексировался поисковиками, создаем файл следующего содержания:
    User-agent: *
    Disallow: /
    Распостранённая ошибка — купить красивый домен и поставить на него голый движок с тестовыми товарами(посмотреть как все выглядит). Сайт в таком виде индексируют поисковики и сразу же пессимизируют за не уникальный контент. Обязательно нужно закрывать от индексации!
  • Для закрытия сайта от ненужных краулеров и spy-сервисов.
    Если вы не хотите, чтобы ваш сайт проверяли конкуренты, например, через Ahrefs, Majestic и подобные сервисы, закрывайте им доступ. Еще робот Yahoo любит приходить на сайт по 5 раз в день и грузить сервер, но толку от Yahoo для РФ-магазина никакого.

Правила написания

Директивы Disallow и Allow

Между директивами не должно быть пустых строк, пустые строки только между блоками User-agent. Порядок любой — можно сначала разрешать, а потом запрещать или наоборот, или вообще вперемешку.

Sitemap и Host

Две директивы Яндекса. Для Host указываем главное зеркало сайта, обратите внимание, что оно указывается без http://, но, если у вас протокол https, то пишем — https://. Для Sitemap — путь к карте сайта, по умолчанию он выглядит вот так:

1 Sitemap: https://site.ru/index.php?route=feed/google_sitemap

Clean-Param и Crawl-delay

Еще две директивы, придуманные Яндексом, Google их не воспринимает и будет выводить ошибку в Search Console, не обращайте на это внимания.

Clean-Param обязательно используем, если на сайт ведется реклама через Яндекс.Директ, Google Adwords, таргет через соц.сети или реферальные ссылки. Иначе в индексацию будут залетать страницы с «хвостом» из параметров utm-меток и создавать дубли, а это повлечет песcимизацию в Яндексе.

Пример синтаксиса:

1 Clean-Param: utm_source&utm_medium&utm_campaign

Crawl-delay используют для уменьшения нагрузки на сервер. Для новых магазинов не прописываем.


Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *