Файл sitemap.xml: что это такое, как его создать и добавить на сайт

Индексация свежего сайта в поисковых системах занимает от нескольких недель до полугода: на тематических ресурсах владельцы порталов делятся совершенно разной информацией. Ускорить этот процесс поможет файл sitemap xml, который представляет собой карту сайта, созданную специально для краулеров. Это своеобразный путеводитель по содержимому вашего ресурса: он подсказывает роботам, где именно расположен контент и как его найти.

Наличие такой карты — необходимое условие и для порталов, которые постоянно обновляются, ведь новые страницы также нуждаются в индексации. При этом сроки проверки свежедобавленного на сайт контента в поисковых системах Google и Яндекс сильно разнятся. Процесс может затянуться на несколько недель, а инфоповод, которому посвящен текст, просто потеряет свою актуальность. Чтобы не терять время и попасть на первые строчки поисковой выдачи, создать sitemap рекомендуется для:

новых порталов, пока не имеющих обильной внешней ссылочной массы;
ресурсов, на которых часто добавляются новые и обновляются старые страницы;
сайтов с глубокой вложенностью и разветвленной структурой, которая может включать несколько сотен страниц;
порталов с недостаточной внутренней перелинковкой.

Таким образом, в «навигаторе для краулеров» нуждаются практически все ресурсы, заинтересованные в привлечении органического трафика из поисковой выдачи.

Какими бывают карты сайтов и где их искать?

Часто XML–документ со списком URL адресов, предназначенных для оперативной проверки краулерами, путают с другим файлом, который также является картой сайта. Это сайтмап в формате HTML, который помогает структурировать контент на портале для пользователей. Если с навигацией внутри ресурса все понятно, переходы между разделами логичны, а поиск необходимой информации не вызывает сложностей у посетителей, он может не понадобиться.

Веб–мастера добавляют HTML–путеводитель в том случае, если контента много, а сориентироваться при помощи стандартного меню в нем непросто. Она создается при помощи специальных плагинов: например, для сайтов на WordPress часто используется Simple Sitemap. Многие CMS умеют создавать такой файл автоматически.

Найти сайтмап для краулеров можно в корневом каталоге сайта. Для этого введите в адресной строке браузера команду https://ХХХ.ru/sitemap.xml, где ХХХ – URL вашего веб–ресурса. Как правило, после нажатия на Enter браузер открывает список имеющихся сайтмапов, указывает путь к файлу в формате .xml или список сгенерированных ранее карт. Если файла нет, вы увидите соответствующее сообщение.

Можно попробовать поискать нужный документ и в файлах хостинга. Для этого в файловом менеджере заходим в папку своего сайта и ищем sitemap.xml там.

Создаем sitemap xml с нуля. Требования к файлу

Для большинства CMS требования к sitemap одинаковы:

Размер файла не должен превышать 500 Мб, а его содержимое — включать в себя более 50 000 адресов.
Использование закрывающих и открывающих тегов <urlset> и </urlset> обязательно: все содержимое файла должно находиться между ними.
URL указываются внутри родительского тега <loc>, а информация о содержимом страницы — между тегами <url> и </url>.
Допускается использование дополнительных тегов <lastmod>, <changefreq> и <priority>.
Размещать карту необходимо на одном домене с сайтом, а для того, чтобы краулеры ее обнаружили и проверили — открыть файл для индексации.

Если ваш сайт создан при помощи Taptop, то карта в формате xml будет сгенерирована автоматически. На тарифе Basic пользователи получают доступ, в том числе, и к настройкам SEO, а значит — могут добавить файл вручную.

Перед тем, как добавить sitemap xml, убедитесь, что он содержит все необходимые ссылки: категории, разделы, подкатегории, адреса обновленных страниц и другие важные URL. Не стоит включать в карту для роботов страницы, которые вы скрыли от индексации, URL с кодом ответа сервера, а также удаленные адреса. Регулярно проверяйте файл и своевременно удаляйте такие ссылки.

Простые способы создания карты сайта

Создать сайтмап доля краулеров можно несколькими способами. Давайте разберем их подробней.

Онлайн–сервисы

В сети имеются специальные сервисы для создания сайтмапов, призванных ускорять индексацию. Генераторы бесплатно сканируют до 1000 страниц любого ресурса, при этом «видят» его как роботы поисковых систем.

Зарегистрировавшись на таком сервисе, можно получить отдельные файлы для Яндекс и Google, настроить периодичность обновления sitemap, а также установить регулярное получение файла с адресами для индексации непосредственно сервером с нужной вам периодичностью. Платные тарифы открывают доступ к дополнительному функционалу: например, сканированию ресурсов с количеством страниц, превышающих 1000 или автоматическое обновление сайтмапа.

Программы

По большей части программы для создания sitemap xml — платные. Их функционал практически аналогичен онлайн–сервисам. Главное преимущество такого ПО — возможность сканирования ресурсов с большим количеством страниц. Стоит задуматься о приобретении лицензии в том случае, если вы — владелец нескольких крупных порталов.

Плагины для CMS

Большинство современных движков для сайтов используют плагины для создания навигационного файла, предназначенного для роботов. Так, в WordPress широко применяются такие дополнения, как YoastSEO или All in One SEO Pack. В Joomla применяется плагин OSMap.

Если вы создаете сайт при помощи конструктора Taptop, искать и устанавливать дополнительное ПО не потребуется: система автоматически генерирует сайтмап.

Добавляем Sitemap.xml в консоли

Нужно не только создать сайтмап, но и добавить файл в консоли поисковых систем: это ускорит процесс индексации. Данная процедура особенно важна для крупных веб–ресурсов и динамических страниц, содержимое которых постоянно меняется, а ручная перелинковка не всегда возможна.

Первое, что необходимо сделать — добавить директиву для проверки сайтмапа в файл robots.exe, содержащий все указания для работы краулеров. Чтобы роботы нашли вашу карту, обязательно прописывайте полный путь к ней, а для ускорения индексации — добавьте файл в Яндекс.Вебмастер и Google Search Console.

Яндекс.Вебмастер

Для начала зарегистрируйтесь в сервисе, добавьте свой портал и подтвердите на него права. После этого зайдите во вкладку «Индексирование» в левом меню и выберите пункт «файлы Sitemap».

Система предложит вам прописать путь к сайтмапу: останется только вставить на него ссылку и нажать кнопку «добавить». Чтобы Яндекс быстрей сканировал обновленные страницы, регулярно подгружайте свежие карты своего ресурса таким же образом.

Google Search Console

Работа с сервисом от Гугл также начинается с добавления сайта и подтверждения ваших прав на ресурс. Действуем по аналогии с Яндексом: открываем меню и переходим в раздел «Индексирование». Выбираем подраздел «файлы Sitemap» и добавляем путь к актуальной карте.

Если роботы Google уже сканировали предыдущие версии этого файла, система предоставит вам об этом информацию. Функционал системы позволяет отслеживать не только дату последней загрузки сайтмапа, но и следить за процессом его обработки краулерами.

Упростите индексацию с Taptop

Команда Taptop стремится сделать процесс не только создания, но и SEO–оптимизации сайта максимально простым даже для тех, кто работает над собственным порталом впервые. Конструктор генерирует чистый код, что положительно влияет на ранжирование в поисковой выдаче, а автоматическое создание сайтмапа поможет вам ускорить индексацию. Если в процессе настройки SEO у вас возникнут сложности, вы всегда можете заглянуть в нашу Базу знаний или задать вопрос службе поддержки.