Добавлять ли RSS в Sitemape для Яндекса и Google?

Еще в октябре 2014 года Google дал однозначный и важный сигнал о необходимости добавления RSS-файлов в раздел Sitemaps сервиса «Инструменты для вебмастеров». Однако не все, видимо, прочитали эту заметку в блоге Google. Давайте напомним.

Alkis Evlogimenos из Google Feeds Team 16 октября сделал важное для всех вебмастеров замечание: Sitemaps может быть в как XML Sitemap, так и в RSS или Atom форматах. Важное различие между этими форматами - XML карты сайта описывают весь набор адресов внутри сайта, а RSS / Atom каналы описывают последние изменения, помогая Google хранить свежий контент в своем индексе.

Разработчик говорит и о другом важном сигнале: Google гораздо чаще индексирует RSS или Atom ленты, нежели Sitemap. Для оптимального обхода Google рекомендует использовать оба канала: XML карты сайта и RSS / Atom-каналы.

Специалист Google говорит о наиболее частых ошибках при добавлении Sitemap - включение в нее тех страниц, которые запрещены для индексации в файле robots.txt и неканонических URL. Яркий пример - включение страниц добавления материала, который ограничен в правах пользователя или доступен ему только на условиях оплаты. И, конечно, в случае использования ЧПУ не стоит включать в карту сайта сырые адреса от движка.

Кстати, Google рекомендует использовать Sitemap с максимальными настройками - 50000 URL-адресов или максимальный размер 10 МБ несжатого файла. Множество небольших файлов по 5-10 адресов замедляют их обработку поисковиком в сравнении с обработкой файлов с 50 тысячами адресов.

Ну и еще важный сигнал: о желательности использования протокола PubSubHubbub, который может быть полезен в случае наличия платного контента.

В смысле эффективности индексирования сайта стоит также помнить о двух технических факторах сайта, которые являются сигналами сканирования для Google: время соединения (Connect Time) и коды состояния HTTP (HTTP Status Codes). Если сайт медленно загружается, паук Google уходит, чтобы облегчить доступ к сайту пользователям. А при наличии ошибок в диапазоне 5хх паук уходит, чтобы не вызывать проблем для сервера (и снова уходит, если опять видит их). Об этом говорил аналитик Google Гэри Илш (Gary Illyes).

И еще один совет от специалистов SStudio - при добавлении RSS-файла в «Инструменты для вебмастеров» сначала нажмите на проверку фида, а потом уже добавляйте его - это ускорит первичную индексацию.