Как узнать url sitemap

Добавление Карты сайта в поисковые системы

Чтобы о новом файле Sitemap быстрее узнали поисковые роботы, веб-мастеру необходимо внести изменения в файл robots.txt, прописав в нем особую директиву, указывающую точный маршрут к Карте сайта:

Готовый файл Sitemap нужно проверить на ошибки и добавить в Яндекс или Google при помощи Яндекс.Вебмастера или Google Search Console.

Как удалить старую Карту сайта

При реорганизации контента и создании новых Sitemap нужно удалить старую Карту сайта. ​В панели Вебмастера Google нет такой функции, но сотрудник Google Джон Мюллер советует присвоить ссылке на файл ошибку 404. Если ссылка на Sitemap XML отдает код ошибки 404, то со временем поисковик автоматически перестанет учитывать этот файл.

Наличие у сайта правильно составленной Карты — не гарантия того, что поисковик проиндексирует все страницы. Sitemap — подсказка для поисковых ботов о том, как лучше сканировать ресурс. Тем не менее, если вы управляете не лендингом и не сайтом из нескольких страниц, составьте файл для своего проекта.

Источник

Инструкция по работе с sitemap.xml

Для того, чтобы страницы сайта и их содержимое начали ранжироваться — отображаться по запросам пользователей, их должен проиндексировать робот поисковой системы. Когда у ресурса есть карта сайта, Google проще обнаружить адреса страниц.

Из статьи вы узнаете

Что такое карта сайта

Карта сайта или sitemap — это файл, содержащий список URL всех страниц ресурса, которые нужно проиндексировать. Он размещен в корневой папке и в большинстве случаев называется sitemap.xml.

Структура сайта напоминает структуру книги с разделами, подразделами и страницами. Когда читателю нужно что-то найти в учебнике или энциклопедии, он сначала смотрит содержание и находит нужную страницу. Файл sitemap XML выполняет роль содержания на сайте, помогая поисковым роботам обнаружить страницы.

Как посмотреть карту сайта

Содержимое карты сайта доступно не только роботам, но и посетителям сайта. Поскольку список URL обычно размещают в папке с серверными файлами, адрес sitemap состоит из двух элементов — имени сайта и названия карты.

Как посмотреть карту чужого сайта? Возьмем для примера сайт компании Apple и добавим к доменному имени в адресной строке /sitemap.xml.

Для чего используют карту сайта

Основная роль sitemap — это навигация робота и направление его к важным URL, чтобы они попали в индекс поисковика.

Важно учесть, что наличие карты не гарантирует индексацию страниц. Также поисковики могут находить URL без карты, например, если на него ведет ссылка с другой веб-страницы. В то же время, Google рекомендует добавлять на сайт список адресов для индексирования.

Как и инструкция по сканированию страниц для роботов — robots.txt, карта сайта — важный атрибут оптимизации. Проверить правильность настроек sitemap можно в инструментах от поисковых систем, на сайтах-валидаторах и на платформах, которые анализируют SEO сайта онлайн.

Когда полезна карта сайта:

Представим себе крупный интернет-магазин или другой многостраничный сайт. При большом количестве страниц робот может пропустить какие-то из них. Карта сайта повышает вероятность попадания важных URL в индекс и, как следствие, появления их в результатах выдачи.

Чтобы новый ресурс начал ранжироваться, нужно помочь поисковику обнаружить его страницы. Если упоминаний URL нет на других страницах в интернете, роботу будет сложнее найти этот URL и проиндексировать.

Создание карты сайта и информирование краулеров о ее наличии ускорит индексацию страниц и их отображение по поисковым запросам.

Для сайта, который уже в индексе, тоже может быть актуально ускорение индексации страниц. Например, новостные и развлекательные порталы постоянно добавляют новые статьи и заинтересованы в том, чтобы пользователи быстрее находили свежие материалы в выдаче.

Также в карте может быть указана дата последнего обновления страницы или периодичность, с которой она обновляется. Таким образом роботы получают информацию, когда нужно повторно индексировать URL.

Как правило, страницы внутри сайта связаны друг с другом. Например, на главной странице находятся ссылки на категории продукции, страницы категорий содержат URL на карточки товара, карточки товара могут ссылаться на страницу про оплату и доставку.

Когда робот находит ссылки на странице, он может переходить по ним, постепенно сканируя больше и больше URL. Если же адрес не связан с другими страницами сайта, краулер сможет его найти благодаря sitemap.

В результатах ранжирования могут участвовать не только страницы сайта, но и их отдельные элементы. Например, в Google есть разделы, где отображаются только картинки или видео.

Картинки и видео, которые видит пользователь на сайте, в коде страниц выглядят как ссылки на файлы. Браузер обращается по этим ссылкам к медиафайлам и отображает визуальный контент на экране. Если создать отдельную карту для таких URL, это обратит внимание роботов на данный тип контента.

Любите продавать?
Держите хостинг для интернет-магазина с гарантированным аптаймом и +30% экономии при годичной оплате

Как создать sitemap XML

XML-файл можно получить, используя инструменты, которые автоматически генерируют список URL на основании страниц сайта, или составить карту вручную.

Автоматическая генерация карты сайта

Есть несколько способов получить готовый sitemap.xml.

Онлайн-сервисы для создания файлов

Это сервисы, которые формируют файлы и фиды по URL сайта, в том числе sitemap. Чтобы запустить генератор, в специальном окне укажите имя домена. Через несколько минут вы сможете скачать готовую XML-карту.

Многофункциональные платформы для SEO-специалистов

Есть сервисы, которые в числе различных инструментов для оптимизации предоставляют опцию для создания карты. Из плюсов — вы можете задать дополнительные параметры для sitemap, например, тип страниц, частоту изменений и приоритет.

Примеры сервисов для SEO, где можно создать карту сайта: SE Ranking, СайтРепорт.

Плагины для систем управления сайтом (CMS)

Разработчики CMS предлагают дополнительные программы для SEO-настроек, включая карту сайта. Плагины автоматически создают файл sitemap.xml и обновляют список URL, когда вы добавляете или удаляете страницы.

Примеры плагинов: All in One SEO Pack и Google XML Sitemap Generator для WordPress, Simple XML sitemap для Drupal, OSMap для Joomla!.

Статья по теме:

Самостоятельное создание файла sitemap

Поскольку есть автоматические сервисы, необходимости составлять список страниц вручную, как правило, нет. Но если вы все-таки хотите создать карту сайта самостоятельно:

Правила для создания файла sitemap

Выделим общие рекомендации поисковых систем для создания карты сайта.

Как разместить карту сайта в файле robots.txt

Перед тем, как добавить страницы в индекс, робот сначала делает обход сайта и сканирует его содержимое. Первый файл, который он просматривает — это robots. В него нужно добавить директиву Sitemap и ссылку на карту сайта.

В файле robots могут быть указаны ссылки на несколько XML-файлов.

Из чего состоит карта сайта

Файл sitemap состоит из элементов — тегов, которые имеют начало <> и конец и содержат определенные данные. Некоторые теги могут быть родительскими и включать в себя дочерние. Синтаксис карт сайта для Google соответствует протоколу Sitemap.

У XML-карты есть обязательные теги:

— тег, содержащий ссылку на текущий стандарт протокола;

— тег для каждого URL, который включает дочерние теги с адресом страницы и дополнительной информацией о ней;

— тег, который размещают в начале и конце файла, когда у сайта несколько файлов sitemap, а его дочерние теги содержат ссылки на эти карты.

Теперь рассмотрим теги, которые используют при необходимости:

— дата последнего обновления страницы в формате YYYY-MM-DD.

— указывает периодичность обновления страниц и когда роботу рекомендуется индексировать контент: всегда (always), ежечасно (hourly), ежедневно (daily), еженедельно (weekly), ежемесячно (monthly), ежегодно (yearly), никогда (never).

— тег для обозначения приоритетных для индексации страниц с помощью параметра от 0 до 1.

в своем руководстве, но в данный момент не учитывает их. Они актуальны для других поисковых систем.

Как добавить несколько карт на сайт

Если у сайта несколько sitemap, о которых нужно сообщить поисковикам, используйте для этого один из двух вариантов:

Рассмотрим пошагово второй способ, как объединить несколько карт в одном файле.

Шаг 1 Создайте XML-файлы и проверьте, чтобы общее количество URL не превышало 50 000, а вес — 50 МБ.

Шаг 2 Дайте файлам названия, отличные от sitemap.

Шаг 3 Проверьте карты на ошибки с помощью специальных инструментов.

Пример sitemap.xml, содержащего две карты сайта:

Расширение gz говорит о том, что для файлов sitemaps применялось gzip-сжатие.

Чтобы поисковые системы обнаружили все «вложенные» карты сайта, достаточно их уведомить об основном файле sitemap.xml через специальный инструмент, например, Google Search Console.

Попробуйте хостинг с кучей плюшек: автоустановщиком 330 движков, конструктором сайтов и теплой поддержкой 24/7!

Карта сайта для разных типов контента

Чтобы содержимое страниц попадало в специальные разделы поисковиков (для фото, видео, новостей), рекомендуется создавать отдельные карты сайта. Узнаем, как создавать sitemaps для популярных видов контента — изображений и видео.

Sitemap для изображений

Когда стоит использовать sitemap для картинок:

Обязательные теги:

— тег, который содержит URL картинки и может включать информацию об изображении, например, название и подписи к фото, место съемки.

— тег для URL картинки.

Необязательные теги:

— название (заголовок) картинки.

— подпись к картинке.

— ссылка на лицензию фото.

Пример фрагмента Sitemap для изображений:

Информация о настройке карты для изображений есть в официальной справке Google.

Sitemap для видео

Если нужно уведомить Google о недавно добавленных видео или помочь ему проиндексировать сайт с большим количеством мультимедийного контента, используют карту для видео.

Обязательные теги:

— тег, который содержит дочерние теги с адресом видеофайла и дополнительной информацией о нем, например, описанием, длительностью или датой публикации;

— тег, который содержит URL видео;

— место размещения проигрывателя для видеоролика;

— название (заголовок) видео с рекомендуемой длиной до 100 символов;

— описание к видео, близкое по смыслу к контенту страницы, с максимальной длиной в 2048 символов.

— URL файла со значком видео в мини-версии от 60×30 пикселей;

Необязательные теги:

— дата размещения видео в формате YYYY-MM-DD;

— продолжительность видео в секундах с максимальным значением 28800 (8 часов);

— описание тематической категории видео до 256 символов;

— тег, который обычно используют для запрета показов видео на определенных платформах: ПК (web), мобильных устройствах (mobile), телевизорах (tv);

— тег для запрета показа видео в определенных регионах, в котором коды стран приведены в формате ISO 3166;

— тег для безопасного поиска, т.е. ограничения просмотра видео по возрасту;

— тег в формате YYYY-MM-DD для видео, которые будут доступны до определенной даты;

— имя пользователя или название компании, добавившей видео, с допустимой длиной до 255 символов;

— тег, который используют для видео с платным просмотром или загрузкой, указывая валюту (атрибут currency) в формате ISO 4217;

— тег для доступа к видео по подписке;

— тег, в котором указано, сколько просмотров получило видео;

— рейтинг видеоролика в диапазоне от 0.0 до 5.0;

— тег для пометки прямых трансляций;

— теги в виде ключевых слов, которые помогают целевой аудитории находить контент.

Пример фрагмента Sitemap для видео:

Источник

Как создать файл Sitemap и сделать его доступным для Google

Из этой статьи вы узнаете, как создать файл Sitemap и предоставить доступ к нему роботам Google. Подробнее о файлах Sitemap…

Форматы файлов Sitemap

В Google поддерживается несколько форматов файлов Sitemap.

Во всех форматах следует использовать стандартный протокол. В настоящее время Google не учитывает в файлах Sitemap атрибут

Для всех форматов действуют следующие ограничения: файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Если объем файла или количество перечисленных в нем адресов превышают эти лимиты, разбейте его на несколько частей. Вы можете создать и отправить в Google индекс Sitemap, который содержит данные об отдельных файлах Sitemap. При необходимости можно отправить несколько файлов или индексов Sitemap.

Вот пример простого XML-файла Sitemap с одним URL:

Подробную документацию и более сложные примеры вы можете найти на сайте sitemaps.org.

RSS, mRSS и Atom 1.0

Если у вас есть блог с фидом RSS или Atom, можно отправить URL этого фида в качестве источника файла Sitemap. Большинство сервисов для ведения блогов позволяют создать фид, но нужно учитывать, что в нем может быть представлена информация только о последних URL.

Текст

Если в файле Sitemap есть только адреса страниц, вы можете отправить Google обычный текстовый файл с этими URL (по одному в каждой строке). Пример:

Правила создания текстовых файлов Sitemap

Файлы Sitemap с расширенным синтаксисом

Google поддерживает расширенный синтаксис файлов Sitemap для перечисленных ниже MIME-типов. С помощью дополнительных элементов можно описывать видео, изображения и другой плохо поддающийся анализу контент, чтобы они лучше индексировались.

Общие рекомендации в отношении файлов Sitemap

Кроме того, все URL (включая адрес вашего файла Sitemap) должны быть правильно экранированы и закодированы, чтобы их мог обработать веб-сервер. Обычно это выполняется автоматически, если для создания URL вы применяете какой-либо скрипт, инструмент или файл журнала, то есть не вводите адреса вручную. Если при отправке файла Sitemap вы получаете оповещение о том, что Google не удалось найти ваши URL, убедитесь, что они соответствуют стандарту RFC-3986 для URI, стандарту RFC-3987 для IRI и стандарту XML.

Ниже приведен пример URL, где есть символ, не относящийся к кодировке ASCII ( ü ), а также символ, который требует экранирования ( & ):

Этот же URL в кодировке ISO-8859-1 (для размещения на сервере, использующем ее) и с экранированием:

Этот же URL в кодировке UTF-8 (для размещения на сервере, использующем ее) и с экранированием:

Этот же URL, содержащий маскирование:

Как создать файл Sitemap

Создавая файл Sitemap, вы сообщаете поисковым системам, какие из ваших URL следует выбирать для показа в результатах поиска. Такие URL называются каноническими. Если вы разместили одинаковый контент по нескольким URL, выберите основной вариант страницы и включите в файл Sitemap только его.

Выбрав URL, которые следует добавить в файл Sitemap, создайте его одним из перечисленных ниже способов. Оптимальный вариант будет зависеть от архитектуры и размеров сайта.

Как создать файл Sitemap с помощью системы управления контентом

Если вы работаете с системой управления контентом, такой как WordPress, Wix или Blogger, то возможно, что она уже сгенерировала файл Sitemap, доступный поисковым системам. Попробуйте найти сведения о том, как ваша система управления контентом создает файлы Sitemap, или о том, как подготовить такой файл, если она не сделала этого автоматически. Например, если вы работаете с Wix, введите в Google Поиске запрос «wix sitemap».

В остальных случаях вам потребуется создать файл Sitemap самостоятельно.

Как создать файл Sitemap вручную

Если вы планируете добавить в файл Sitemap не более чем несколько десятков URL, его можно будет создать вручную. Для этого откройте текстовый редактор, такой как Блокнот (Windows) или nano (Linux, macOS), и начните вносить в новый файл данные в соответствии с синтаксисом, который описан в разделе Форматы файлов Sitemap выше.

Вручную можно создавать и крупные файлы Sitemaps, но это очень трудоемкий процесс.

Как создать файл Sitemap автоматически

Если вам нужно включить в файл Sitemap множество URL, то удобнее будет создавать его автоматически. Сгенерировать файл Sitemap можно с помощью различных инструментов, но лучше всего воспользоваться для этого средствами вашего сайта. Например, вы можете извлечь URL, относящиеся к сайту, из его базы данных и экспортировать эти адреса на экран или в файл на вашем веб-сервере. При необходимости обратитесь к разработчикам или менеджеру сервера. Ознакомьтесь с нашей подборкой сторонних генераторов файлов Sitemap: вы можете создать на их основе аналогичный инструмент.

Как сделать файл Sitemap доступным для Google

Файл Sitemap анализируется только при первом его обнаружении, а не при каждом сканировании сайта. Чтобы файл был обработан повторно, сообщите нам, что данные в нем изменились. Это делается с помощью запроса ping. Не добавляйте несколько раз одинаковые файлы Sitemap и не отправляйте запросы ping, если в файл не вносились изменения и он не новый.

Предоставить Google доступ к файлу Sitemap можно несколькими способами:

Устранение неполадок, возникающих при обработке файлов Sitemap

Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trademark of Oracle and/or its affiliates.

Источник

Sitemap.xml или карта сайта — руководство для новичков

При знакомстве с проектом SEO-специалист обязательно вводит в адресную строку фразу «sitemap.xml». Анализ карты сайта позволяет выяснить, почему не индексируется тот или иной контент. Как создать и внедрить грамотную sitemap.xml, я расскажу в очередном выпуске «Азбуки SEO».

Что такое XML-карта

XML-карта сайта — файл с информацией для поисковых систем о страницах, которые необходимо проиндексировать. Другими словами, карта сайта — список всех страниц в формате XML, доступных для сканирования поисковым роботом. При этом стоит отличать XML-карту от обычной карты сайта, которая находится по адресу https://site.com/sitemap/.

С помощью XML-карт определяется:

Из каких элементов состоит XML-карта

В первой строке документа указывается версия xml и кодировка — UTF-8.

Также используются особенные теги XML:

Пример структуры файла c XML-картой сайта:

Для больших сайтов лучше сформировать несколько XML-карт. Например, в этот индекс в формате XML входят два файла sitemap:

XML-карта для изображений

Отдельные XML-карты часто создаются для индексации изображений. Они актуальны только для Google, Яндекс не распознаёт теги image:

Данные XML-карты могут помочь поисковым системам найти контент, который иначе нельзя было бы обнаружить (например, если он загружается с помощью JavaScript), и указать изображения, которые необходимо сканировать и индексировать.

Для карт изображений используются теги:

Кроме того, можно использовать необязательные теги:

Подпись к изображению.

Место съемки (страна, город, и так далее)

URL лицензии изображения.

Пример XML-карты для изображений:

XML-карта для видео

Если на сайте представлен уникальный видеоконтент, для него также можно сделать отдельную XML-карту.

Интересно, что в этой карте URL видео можно открыть для поиска в разделе Google Видео. В результатах будет отображаться значок видео, который, кстати, можно сделать индивидуальным, а также другая указанная в карте информация. Например, название.

Какие сведения о видео можно отправлять в Google с помощью sitemap:

Можно использовать другие теги, они не обязательные и носят рекомендательный характер:

Google поддерживает следующие форматы:

XML-карта для Google Новостей

Для сайтов-новостников можно создать отдельную карту с динамической генерацией и ежедневным обновлением. Данные файлы будут работать только для ресурсов, включенных в списки Google Новостей. Если сайт не находится в списке, можно отправить запрос на его добавление.

Файл sitemap должен содержать только URL статей, опубликованных за последние два дня. Статьи, опубликованные более двух дней назад, можно удалить из файла, при этом они останутся в индексе Google Новостей в течение 30 дней.

Эта карта сайта может содержать не более 1000 URL. Если на сайте за два дня появляется больше контента, можно создать файл индекса sitemap для нескольких карт.

Кроме этого, существуют необязательные теги:

Пример sitemap для Google Новостей:

Как построить XML-карту для мультиязычных сайтов

Пространство имен XHTML должно быть указано так:

Также необходимо создать отдельный элемент URL для каждого адреса. В свою очередь каждый элемент должен включать:

Например, на сайте есть раздел на русском языке, предназначенный для пользователей со всего мира. Кроме того, существуют две версии этой страницы: на украинском и на английском.

Полный набор URL выглядит так:

Файл sitemap, который приведен на примере ниже, сообщает Google о том, что у страницы example.com/ru/ существует соответствующая версия на украинском и английском языках:

Рекомендации Яндекса

Яндекс поддерживает два формата файлов sitemap:

Требования для карт Яндекс:

Рекомендации Google

Форматы, которые поддерживает Google в качестве sitemap:

Основные требования к текстовым файлам:

Как внедрить XML-карту

Файлы sitemap учитываются при индексировании сайта роботом, однако ни одна из поисковых систем не гарантирует, что все URL, указанные в файле, будут добавлены в поисковый индекс.

Для автоматического создания XML-карт можно использовать платные и бесплатные онлайн-генераторы, специальные плагины CMS и программы, например, Netpeak Spider.

Как найти ошибки в XML-картах

Как анализировать карту сайта в Яндекс.Вебмастере

В Яндекс.Вебмастере для работы с XML-картами следует перейти по пути «Индексирование» — «Файлы sitemap».

В этом разделе можно добавить ссылку на файл (или несколько файлов), отслеживать ошибки, даты последней загрузки и количество ссылок в файле.

Отдельно в разделе Инструменты, представлен «Анализатор файлов sitemap», где на проверку можно отправить текст, URL или прикрепить сам файл. При проверке он показывает тип и размер файла, количество ссылок и ошибки.

Как анализировать карту сайта в Google Search Console

В панели вебмастеров Google в разделе «Сканирование» есть пункт «Файлы sitemap».

Выводы

XML-карта сайта нужна поисковым роботам для обнаружения всех ваших страниц. Она содержит URL-адреса страниц сайта, а также относящиеся к ним данные, такие как время их последнего обновления, частоту их обновления и важность относительно других страниц сайта. Отдельные карты можно создавать для изображений, видео, XML можно размечать и для Google Новостей.

Создавать карту вручную не стоит — используйте бесплатные генераторы или специализированные программы. Проверить ошибки в картах можно в панелях вебмастеров Яндекс и Google.

Появились вопросы? С удовольствием отвечу в комментариях.

Источник