Привет, друзья! Как вы поняли из названия статьи, сегодня я расскажу об одной грубейшей ошибке c индексацией новых статей, которая возможно есть и у вас, если вы используете плагин All In One Seo Pack для генерации .

Если вы читали мою прошлую статью, то знаете, что я принял участие в SEO конкурсе, по условиям которого нужно вывести статью как можно выше в ТОП. Если не читали, то вот .

С чего я вообще заговорил об ошибке. Дело в том, что я давно заметил, как в индексе поисковых систем появляется много дублей страниц такого вида:

То есть, если на странице 5 изображений значит, в индексе появляется 5 дублей страниц, которые не содержат контента за исключением одного изображения и его описания. Вот скриншот такого дубля:

Я сначала подумал, что дело в файле robots.txt так как я в нем прописывал принудительную индексацию изображений. Но дело оказалось совсем в другом. Кстати, если не знаете как настроить robots.txt, рекомендую ознакомиться с .

Возможно я бы еще долго не придавал этому значения, если бы не конкурс, о котором я упоминал выше.

Прошло два дня, и в поиске гугла появилась страница по запросу «как я пришел в блогосферу». Появится то появилась, да только не основная страница, а ее дубликат, причем аж на 47 позиции. А где же еще быть пустой странице 🙂 И это в то время, как самые сильнейшие «конкуренты» уже были в ТОПе.

Я уже собирался просить совета на форумах, как вдруг подумал, дай ка я проверю карту сайта. И что вы думаете? В карте десятки ссылок на подобные страницы. Получается я сам направляю поисковых роботов на дубликаты, ведь роботы поисковых систем в первую очередь ориентируются по карте сайта XML. А самое интересное, что в этой карте на дубликате стоял приоритет перед основной страницей.

А вся эта канитель получилась из-за банальной невнимательности при настройке карты сайта в плагине All In One Seo Pack. Может это произошло при очередном обновлении, не знаю.

Как проверить есть ли у вас такая ошибка с индексацией страниц? Элементарно. Откройте настройки карты сайта XML.

Теперь давайте проверим все настройки. Сразу скажу, что у меня стоит версия 2.2.6 если у вас другая, то настройки могут несколько отличаться.

Итак, поехали.

2. Уведомлять Google и Bing. Здесь обязательно должны стоять галочки. Благодаря этой настройке, при появлении новой статьи, будет отправляться уведомление поисковым системам, что соответственно ускорит индексацию.

3. Включить Sitemap Indexes. Если поставить здесь галочку, то карта сайта будет разбита на несколько файлов. Поэтому ни в коем случае не делайте этого, если у вас менее 50 000 страниц.

4. Типы записей. А вот та самая грубейшая ошибка, о которой я говорил с самого начала. В данном разделе мы указываем ссылки на какие страницы должны присутствовать в карте сайта XML. По логике вещей для блога это записи и страницы. А я когда-то поставил галочку на все типы записей, вследствие чего начали индексироваться медиа, что соответственно неправильно. Теперь придется из индекса Google удалять около пятисот проиндексированных страниц, или ждать пока он сам их выкинет.

Обязательно проверьте у себя, чтобы в разделе «Медиа/Вложения» у вас отсутствовала галочка ! Исключением являются сайты-галереи.

5. Таксономии. Поставив здесь галочки, вы отправляете в sitemap.xml ссылки на рубрики и метки.

6. Включать архивы за день и страницы авторов не стоит. Во избежание опять же дублей страниц.

7. Создать сжатую версию карты. Кто пользовался когда-то плагином Google XML Sitemap, помнит что нужно было архивировать карту и закидывать его в корень сайта, а в файле robots.txt прописывать к нему путь. В итоге в файле robots.txt были две ссылки, одна из которых вела на архивированную сжатую версию карты, вторая на основную. В плагине All In One Seo Pack все гораздо умнее. При запросе поисковым роботом XML карты сайта, плагин автоматически генерирует сжатую карту и предоставляет роботу.

9. Динамическая карта сайта. Тоже нужно поставить галочку. Вы ведь регулярно обновляете блог новыми записями, следовательно и карта у вас должна быть динамическая.

10. Noindex Sitemap file. Этой опцией можно запретить индексировать карту. Не могу понять зачем вообще разработчики внедрили эту функцию. Если вы ставили здесь галочку, срочно убирайте!

В дальнейших настройках можно указать исключенные страницы, это те, которые вы хотите запретить индексировать. Но это больше рекомендация для робота, а не обязательное условие.

P.S. Я не просто так рассказал об этой ошибке, чтобы повыпендриваться. Буквально через день после исправления, статья оказалась в ТОП 1 Яндекса.

Если основное предназначение robots.txt – это запрет индексации, то карта сайта sitemap.xml выполняет прямо противоположные задачи. Она отвечает за ускорение индексации сайта и полноту индексации сайта.

Sitemap.xml указывает поисковой системе частоту, с которой возникает необходимость в переиндексации страниц. В этом плане карта сайта особенно важна для сайтов с регулярно обновляющимся контентом (новостные порталы и т. п.). Кроме того, sitemap.xml содержит все важные страницы сайта с указанием их приоритета.

Требования, предъявляемые к карте сайта

Файл Sitemap представляет собой XML-файл, в котором перечислены URL-адреса веб-сайта в сочетании с метаданными, связанными с каждым URL-адресом (дата его последнего изменения; частота изменений; его приоритетность на уровне сайта), чтобы поисковые системы могли более грамотно сканировать этот сайт.

Общее число sitemap.xml на сайте не должно превышать 1000, при этом число записей (урлов) в каждом не должно превышать 50 000 штук.

Если необходимо перечислить более 50 000 URL-адресов, следует создать несколько файлов Sitemap.

Карту сайта можно сжать gzip архиватором для уменьшения его размера. Но объем каждого сайтмапа в развернутом (разархивированном) виде не должен превышать 10 мегабайт.

Карта сайта не обязательно должна быть в виде xml файла. Протокол допускает генерацию карты в виде синдикации (RSS или Atom) либо в виде простого текстового файла с построчным перечислением URL. Но такие «карты сайта» либо не включают в себя все URL сайта (в случае с синдикацией), либо не несут дополнительную важную информацию (дата и время модификации контента страниц), собственно ради которой и используют в SEO карты сайта.

Предоставляя отметку времени последнего изменения , Вы позволяете сканерам поисковой системы извлекать только часть файлов Sitemap в индексе, то есть сканер может извлекать только те файлы (страницы) сайта, которые были изменены после определенной даты. Этот механизм частичного извлечения файлов из Sitemap.xml позволяет быстро обнаруживать новые URL на сайтах больших размеров. Кроме того это позволяет снизить нагрузку как на сервер, так и на краулер поисковой системы. А последнее они (поисковые системы) крайне любят.

Сочетание карты сайта с robots.txt и метатегами robots

Инструкции sitemap.xml, при правильном их использовании должны дополнять друг друга. Существуют три важнейших правила взаимодействия этих инструкций:

• sitemap.xml, robots.txt и метатеги robots не должны противоречить друг другу;
• все страницы, исключенные (заблокированные) в robots.txt и метатегами robots, должны быть исключены также из sitemap.xml;
• все индексируемые страницы, разрешенные в robots.txt, должны содержаться в sitemap.xml

Исключения из трех правил

Есть и исключения из этих трех правил. И, как всегда, они связаны со страницами пагинации. Начиная со второй и далее страницы пагинации, мы прописываем noindex,follow в метатегах robots, при этом в robots.txt страницы пагинации не закрыты от индексирования.

Дату и время изменения страницы ставить равную дате и времени изменения главной (первой, основной странице) страницы каталога. В принципе, с этим можно согласиться.

Оптимизаторы старой школы советуют добавлять в файл sitemap.xls только непроиндексированные или изменившиеся страницы. Страницы, попавшие в индекс следует удалять из сайтмапа. А вот с этим мнением согласиться уже сложней. При наличии поля lastmod и его правильном заполнении, никакой нужды в таких вот изысках нет.

Основные проблемы при использовании sitemap.xml

При выполнении , мне наиболее часто встречались следующие ошибки:

1. Несоответствие sitemap.xml страницам сайта, устаревший сайтмап. Эта проблема возникает, когда сайтмап генерируется не динамически, а эпизодически, запуском какой то службы в CMS, а то и сторонними сервисами. При этом возникает масса мертвых страниц, отдающих 404 ошибку (это если страницу физически удалили или перенесли в другое место, сменили адрес URL). Кроме того, новые страницы индексируются значительно медленнее, ибо не находятся в sitemap.xml.
2. Следующая ошибка – неверная структура sitemap.xml. Эта ошибка возникает, как правило, на «самописных» CMS или при использовании неверных плагинов к популярной CMS. При этом генерируется файл sitemap.xml с нарушением структуры, описанной протоколом.
3. Модификация этой ошибки – неверная работа с датой изменения записи. С точки зрения протокола — это не ошибка, так как поле lastmod не является обязательным. С точки зрения SEO и поисковых систем, отсутствие правильного значения в этом поле (совпадающее с непосредственным изменением контента) — полностью нивелирует значимость всего файла sitemap.xml. Как было сказано выше, ПС будут переиндексировать те страницы, поле lastmod которых изменилось.Что произойдет, если это поле меняется одновременно у всех записей (страниц) сайта. То есть дата модификации одинакова у всех файлов сайта. Скорее всего, ПС не будут обращать внимание на sitemap и сайт будет переиндексироваться обычным способом, при этом глубоко расположенные страницы либо не переиндексируются вовсе, либо будут переиндексироваться очень долго.Итак, Необходимо или вовсе не использовать поле lastmod (что плохо), либо ставить дату последнего значимого изменения страницы, например, когда поменялась цена или товар закончился или изменилось описание.
4. Следующая группа встречаемых ошибок – логические, вызваны нарушением трех правил о сочетании robots.txt и sitemap.xml. В этом случае можно наблюдать постоянное попадание страницы в индекс и немедленный вылет оттуда. Однако, это не будет наблюдаться при наличии метатега noindex и записи в Sitemap.xml. В этом случае краулер (робот, паук ПС), зашедший на страницу индексировать её не будет.
5. Ну и последняя ошибка, часто встречающаяся на сайтах — наличие «осиротевших страниц». Это такие страницы, на которые стоит ссылка из sitemap, но нет ни одной прямой ссылки с любой из страниц сайта. Часто это связано с тем, что страницы были удалены «логически» (например в WordPress помещены в корзину), а не физически. Это так же наблюдается на сайтах, где доступ к карточкам товаров сделано на скриптах и фильтрах способом, который не позволяет проиндексировать результаты работ этих скриптов. Возможны и иные причины возникновения таких страниц-сирот. Все это снижает доверие поисковых систем к сайту и является негативным сигналом ранжирования.

Согласно протокола, после изменения сайтмапа, можно перепинговать поисковые системы. Для этого нужно создать запрос следующего вида.

Здравствуйте, уважаемые читатели блога сайт. Решил обобщить в одной статье все, что я уже писал про карту сайта (Sitemap xml), которая в первую очередь нужна для указания поисковым системам тех страниц, которые им следует индексировать в первую очередь. Она является очень важным и фактически обязательным атрибутом любого web проекта, но многие этого либо не знают, либо не придают Site map большого значения.

Сразу давайте расставим все точки над «i» и попробуем отделить два понятия — карты сайта в формате xml и в формате Html (есть еще и географическая интерпретация этого слова, о которой я писал в статье « »). Второй вариант представляет из себя обычный список всех материалов web ресурса, который будет доступен любому желающему по нажатию на соответствующий пункт меню. Такой вариант тоже полезен и способствует ускорению и улучшению индексации вашего ресурса поисковыми системами.

Карта сайта sitemap в формате xml — а оно мне надо

Но основным инструментом, предназначенным для прямого указания поисковикам тех страниц ресурса, которые нужно будет обязательно проиндексировать, является файл под названием Sitemap.xml (это его наиболее частое название, но по идее его можно обозвать как угодно, не суть важно), который не будет виден посетителям вашего web проекта.

Он составляется с учетом специального синтаксиса, понятного поисковым машинам, где будут перечислены все страницы, подлежащие индексации с указанием степени их важности, даты последнего обновления и примерной частоты обновления.

Есть два основных файла, которые должны иметься у любого web проекта — robots.txt и sitemap.xml . Если у вашего проекта их нет или они заполнены не правильно, то с большой долей вероятности вы сильно вредите своему ресурсу и не позволяете ему раскрыться на все сто процентов.

Вы, конечно же, можете не послушать меня (ибо я не есть авторитет, в силу относительно малого накопленного фактического материала), но думаю, что со специалистами, имеющими под рукой статистику с десятков тысяч проектов, вы огульно спорить не будете.

На этот случай у меня оказался припасен «рояль в кустах». Прямо перед написанием этой статьи попалась на глаза публикация специалистов из всем известной системы автоматического продвижения под необычным названием «Руки» (это аналог MegaIndex , о котором я писал ).

Понятно, что любая подобная им система заинтересована в том, чтобы проекты их клиентов успешно продвигались, но они могут только накачивать ресурсы клиентов ссылочной массой, а влиять на наполнение и правильную техническую настройку сайтов они, к сожалению, не могут.

Поэтому и было проведено очень интересное и показательное исследование, которое было призвано выявить 10 самых популярных причин, которые затрудняют продвижение проектов и ткнуть этими данным клиентам прямо в...

На первом месте, конечно же, был «не уникальный контент» (либо вы скопистили, либо у вас , что сути не меняет). Но на втором месте была как раз именно карта сайта в формате xml, а точнее ее отсутствие или несоответствие признанному формату создания. Ну, а на третьем месте был уже упомянутый ранее файл robots.txt (его отсутствие или неправильное создание):

Когда голословно утверждаешь, что карта должна быть у вашего проекта обязательно (иначе кирдык), то это не звучит так убедительно, как в случае подкрепления данного утверждения реальными фактами из довольно-таки репрезентативного исследования.

Ладно, будем считать, что я вас убедил и давайте посмотрим, как можно самим создать сайтмап (синтаксис формата), как сделать ее для Joomla и WordPress, а так же посмотрим, как можно будет создать ее с помощью специальных онлайн генераторов (generator).

Но просто создать sitemap еще не достаточно для того, чтобы быть уверенным в правильной индексации вашего проекта поисковиками. Нужно еще будет сделать так, чтобы об этой самой карте сайта узнали поисковые системы (в нашем случае это Google и Яндекс). Сделать это можно будет двумя способами, но об этом мы поговорим чуть позже (должна же быть хоть какая-то интрига, удерживающая внимание читателей).

Зачем вообще нужен сайт мап и файл robots.txt

Давайте для начала попробуем обосновать логическую необходимость использования как файла robots.txt, запрещающего индексацию определенных элементов вашего web проекта, так и файла сайт мап, предписывающего индексацию определенных страниц. Для этого вернемся на пяток-десяток лет назад, когда большинство ресурсов в интернете представляли из себя просто набор Html файликов, в которых и содержались тексты всех статей.

Поисковый робот Гугла или Яндекса просто заходил на такой Html проект и начинал индексировать все, что ему попадется под руку, ибо практически везде содержался контент проекта. А что же происходит сейчас, в условиях повального использования CMS (систем управления контентом)? Собственно, даже сразу после установки движка поисковый робот уже обнаружит у вас несколько тысяч файлов и это при том, что никакого контента у вас еще может и не быть (ну, не написали вы еще ни одной статьи).

Да и вообще, контент в современных CMS, как правило, хранится не в файлах, а в базе данных, которую поисковый робот напрямую проиндексировать, естественно, не сможет (для работы с базами советую бесплатно ).

Понятно, что потыркавшись туда сюда, поисковые роботы Яндекса и Google все же найдут ваш контент и проиндексируют его, но вот насколько быстро это произойдет и насколько полной будет индексация вашего проекта — очень большой вопрос.

Вот именно для упрощения и ускорения индексации проектов поисковиками в условиях повального использования CMS и следует в обязательном порядке создавать robots.txt и sitemap.xml. C помощью первого файла вы подсказываете роботам поисковиков на индексацию каких файлов не стоит тратить время (объекты движка, например), а так же с помощью него можно закрыть от индексации и часть страниц для устранения эффекта дублирования контента, который присущ многим CMS (читайте об этом подробнее в статье про ).

А с помощью файла сайтмап вы четко и ясно говорите роботам Яндекса и Гугла, что именно на вашем проекте содержит контент, чтобы они не тыркались понапрасну по углам файлового хозяйства используемого движка. Не забывайте, что у ботов есть определенные лимиты на время и количество просмотренных документов. Он побродит у вас по файлам движка и уйдет, а контент останется не проиндексированным еще долгое время. О как.

Помните как в известной комедии говорил один колоритный персонаж: «Ты туда не ходи, ты сюда ходи, а то...». Вот именно функцию этого персонажа и выполняют robots.txt и сайт мап с расширением xml для регулирования перемещений поисковых ботов по закоулкам вашего web проекта. Понятно, что боты могут и взбрыктуть, но скорее всего они послушно будут выполнять ваши грамотно написанные запрещающие и предписывающие (в карте сайта) инструкции.

Понятно? Тогда приступаем непосредственно к решению вопроса, как создать sitemap.xml различным способами и как сообщить о его существовании двум китам поиска в рунете — Google и Яндексу, чтобы они не шарились по вашему проекту почем зря, создавая при этом еще и дополнительную нагрузку на сервер вашего хостинга, но это, правда, уже сильно второстепенная вещь, главное — это именно индексация (быстрая и всеобъемлющая).

В отличии от robots.txt, который вам писать придется скорее всего собственноручно, файл карты сайта в формте xml, как правило, стараются создать каким-либо автоматическим способом. Оно и понятно, ибо при большом количестве страниц на часто обновляемом проекте ручное его создание может привести к повреждению ума у вебмастера.

Да это вовсе и не обязательно, т.к. практически для каждой CMS найдется расширение, которое позволит создать, а при появлении новых материалов и пересоздать файл сайтмап. Ну, или можно будет всегда воспользоваться каким-либо онлайн генератором (generator) карты сайта в виде готового решения.

Но все же, мне кажется, будет не лишним ознакомиться с нехитрым (да что там говорить — простейшим) синтаксисом создания sitemap. К тому же на маленьких и редко обновляемых проектах можно набросать его и вручную.

Как создать Sitemap.xml самому в Joomla и Вордпрессе

Обычно директиву «Sitemap» прописывают в самом конце. Поисковые роботы при очередном заходе на ваш web проект обязательно просмотрят содержимое robots.txt и загрузят для изучения вашу карту. Однако, таким образом могут узнать о ее существования всякие редиски, которым сайт мап поможет тырить у вас контент.

Но существует еще один способ уже напрямую передать информацию о местоположении карты сайта поисковикам без посредничества robots.txt. Делается это через интерфейс Яндекс Вебмастера и панели инструментов Google, хотя можно использовать. Вы уже знакомы с этими инструментами поисковых систем?

Если нет, то обязательно добавьте свой проект и в , и в , а затем укажите в соответствующих вкладках путь до вашей карты сайта в формате Xml.

Так выглядит форма добавления сайтмапа для Яндекс Вебмастера:

А так выглядит аналогичная форма для прописывания пути в панели инструментов Google:

Онлайн генераторы Sitemap Generator и XML Sitemaps

Если вам не охота искать расширения для своей CMS, позволяющие автоматически создать сайт мап, то можете воспользоваться в этом случае онлайн генераторами. Тут, правда, есть один недостаток по сравнению с автоматическим созданием карты в самой CMS — после добавления новых материалов вам придется снова идти на онлайн сервис и повторно создавать этот файл, а затем загружать его к себе на сервер.

Наверное, один из самых известных онлайн генераторов карты сайта — это Sitemap Generator . Он обладает достаточно большим функционалом и позволит вам бесплатно генерировать сайтмап на 1500 страниц, что достаточно много.

Sitemap Generator будет учитывать содержимое вашего файла robots.txt, чтобы в карту не попали запрещенные к индексации страницы. Само по себе это не страшно, ибо запрет в роботсе по любому будет иметь больший приоритет, но зато избавит вас от лишней информации в создаваемом файле Site map. Для того, чтобы сделать карту, вам достаточно указать URL главной страницы и сообщить свой E-mail, после чего вас поставят в очередь на генерацию:

Когда до вас дойдет очередь, вы получите об этом почтовое уведомление и перейдя по ссылке из письма сможете скачать файл, который сделал для вас Sitemap Generator. Останется только закинуть его в нужное место на своем сервере. Ну, и такую процедуру вам придется повторять время от времени для того, чтобы поддерживать актуальность вашей карты сайта.

Есть похожий англоязычный сервис онлайн генератора, который вы можете найти по этой ссылке — XML Sitemaps . На нем существует ограничение в 500 страниц, а в остальном все практически тоже самое, что и в описанном выше.

Удачи вам! До скорых встреч на страницах блога сайт

Вам может быть интересно

Что такое URL адреса, чем отличаются абсолютные и относительные ссылки для сайта
Что такое Chmod, какие права доступа назначать файлам и папкам (777, 755, 666) и как это сделать через PHP
Поиск Яндекса по сайту и интернет-магазину
OpenServer - современный локальный сервер и пример его использования для установки WordPress на компьютер
Как я увеличил посещаемость на сайте до 300 человек в день?

Тематика карты сайта для WordPress уже несколько раз поднималась в блоге. Если говорить про XML Sitemap под поисковые системы, то тут ранее я советовал одноименный плагин . Сейчас же данная функциональность имеется в последней версии (и нет смысла ставить оба модуля).

Что же касается HTML карты сайта, то используется она для дополнительной навигации пользователей. Для нее я обычно ставил . Однако плагин, хоть и рабочий, перестал обновляться пару лет назад. Поэтому пришло время поискать альтернативу. Чем мы сегодня и займемся.

Модуль с иерархической картой сайта без дополнительных css или js файлов, только на чистом PHP. Статью о нем нашел в одном из англоязычных блогов, хотя это наша разработка, вот блог автора с информацией по установке плагина.

Данное решение позволяет максимально быстро и просто отобразить список постов блога по категориям с соблюдением иерархии записей. Основные фишки модуля:

• Возможность добавить страницы в карту сайта.
• Наличие небольшой навигации по карте с отображением всех категорий.
• Исключение определенных постов/категорий.
• Отображение даты.
• Чистый код без лишних файлов и стилей.

Вот как приблизительно выглядит карта от Hierarchical HTML Sitemap:

Для вставки карты сайта используется шорткод , у которого имеются дополнительные параметры:

• — исключить записи;
• — исключить категории;
• — добавить страницы;
• — спрятать навигацию по карте сайта;
• — отобразить краткое описание категорий;
• — скрыть дату публикации;

Модуль относительно новый, поэтому тут только 600 загрузок, хотя оценка весьма хорошая — 5 из 5-ти. Совместимость начиная с WP 3.0 и до 4.1.7 на данный момент.

HTML Page Sitemap

HTML Page Sitemap — достаточно простая по функциональности карта сайта, которая работает только со страницами, не постами. То есть подойдет WordPress проектов по типу веб-сайтов, а не блогов.

Добавляется элемент на страницу с помощью шорткода . При этом вы можете использовать практически все настройки, которые есть в : exclude, include, sort_order, depth, sort_column, child_of, authors, number, meta_key, meta_value и offset, например:

• — карта сайта не более 3х уровней вложенности с исключенной страницев ID которой равен 555;
• — отображение подстраниц для текущей страницы;
• — список страниц, отсортированных по параметру menu_order с отображением даты изменения.

По сути, модуль позволяет вам добавлять на страницу сайта функцию wp_list_pages в виде шорткода. Возможно, для кого-то это пригодится. По функциональности напоминает за исключением использования миниатюр у последнего. Установок здесь более 30 тыс., оценка 4.3, поддерживается начиная с WP 2.7 и до последних версий.

Simple Sitemap

Авторы модуля Simple Sitemap утверждают, что это самый легкий способ создать карту сайта для WordPress. Вам просто нужно добавить шорткод на страницу или в виджет. Отличительной возможностью данного решения есть наличие элемента сортировки для постов/страниц в карте сайта — по заголовку, дате, категориям, автору и тегу. Скачали модуль более 40 тыс. раз, оценка — 4.8, что весьма неплохо.

PS Auto Sitemap

PS Auto Sitemap — плагин для автоматического построения HTML карты сайта. Он легок в установке для новичков и имеет разные настройки для продвинутых пользователей. Основные функции:

• Показ/исключение разных категорий, отдельных постов и страниц.
• Ограничение глубины карты сайта.
• Указание сортировки записей.
• Выбор стиля оформления карты сайта из 12-ти базовых вариантов.
• Использование или нет кэшированного контента.

В принципе, все возможности плагина более-менее стандартные, единственное, что выделяет его среди других — базовые стили оформления. Скачиваний плагина — более 200 тысяч раз, оценка — 5.

WP SEO HTML Sitemap

Предлагаю вашему вниманию еще один интересный модуль — WP SEO HTML Sitemap . Он содержит адаптивную карту сайта, которая станет отличным дополнением к вашей XML Sitemap. Если у вас уже установлен модуль WordPress SEO by Yoast, то карта сайта будет использовать все его настройки при создании HTML версии. Кроме того он обладает следующими возможностями:

• определение количества колонок для отображения, которые отлично смотрятся во всех современных браузерах;
• поддержка многоязычности при отображении карты сайта;
• адаптивность для разных устройств;
• отсутствие ошибок валидации по версии W3C Markup Validation;
• возможность отключения CSS стилей;
• есть ссылка на вашу XML Sitemap.

Отображение карты сайта здесь действительно весьма необычное.

Мне нравится. К плюсам определенно относится адаптивность, мультиязычность и другие весьма уникальные опции модуля. Загрузили его более 3 тысяч пользователей.

Simple Wp Sitemap

Плагин Simple Wp Sitemap предназначен для создания обеих карт сайта — XML и HTML. Отличительной его особенностью есть то, что файлы sitemap.xml и sitemap.html создаются динамически и не являются «частью» сайта. То есть физической страницы на карту не создается. Это, вроде как, позволяет избежать ошибок отсутствия или случайного удаления соответствующих файлов. Выглядит, правда, карта сайта немного простовато:

Кстати, вы можете добавлять в нее другие страницы, которые не являются частью вашего WordPress сайта. Точно также можно ненужные материалы исключать. Плагин Simple Wp Sitemap поддерживает кэширование. Число установок — более 10 тыс., минимальная поддерживаемая версия системы — 4.0, оценка плагина — 5.

WP Sitemap Page

Для создания карты сайта с помощью модуля WP Sitemap Page (после его установки) используйте шорткод . Все настраивается достаточно легко, в карту включаются как посты, так и страницы. Загрузок модуля — около 80 тысяч, оценка — 4.8.

Основные функции WP Sitemap Page:

• поддержка пользовательских типов записей;
• отображение таксономий;
• выбор для вывода только страниц или постов;
• исключение материалов из карты (как постов, так и пользовательских типов);
• иерархическое отображение категорий;
• поддержка мультиязычности;
• возможность настраивать отображение карты через админку WP;
• наличие специальных CSS стилей оформления.

Итого. Постарался расписать по каждому модулю HTML карты сайта максимально детально. К сожалению, установить их все просто не было времени, пришлось довольствоваться описаниями и скриншотами плагинов на wordpress.org. Тем не менее, этой информации вполне хватит дабы оценить плюсы и минусы каждого из решений.

В этом путеводителе мы рассмотрим следующие вопросы:

Что такое Sitemap ?

Это файл, который содержит в себе перечень ссылок на все важные страницы сайта. То есть, этот документ направляет поисковые системы на основной контент на сайте.

Для чего нужна карта сайта

Сайтмап нужен, если у сайта есть проблемы с индексацией, которые вызваны:
1) большим количеством страниц;
2) отсутствием ссылок (внутренних или внешних) на страницы;
3) глубокой вложенностью на сайте (запутанной структурой).

HTML vs XML-карта сайта

Карты сайта бывают следующих типов:

• HTML;

Самое простое объяснение разницы между этими форматами в том, что XML-карта в первую очередь предназначена для поисковых систем, а HTML – для пользователей.

HTML-карта – это всего лишь общий обзор сайта, содержит только информацию и страницы, которые нужно видеть пользователям. Если вы находитесь на сайте и ищете определённый раздел, при переходе на Sitemap HTML легко его найдёте. Несмотря на то, что такой тип карт сайта ориентирован на пользователя, он также может помочь вашему ранжированию в поисковых системах. Это одно из свидетельств того, что вы заботитесь об удобстве сайта для пользователя.

При составлении HTML-карты сайта важно учитывать:

1. Структурированное содержание.

Карта сайта должна быть понятна и удобна для восприятия пользователя. Желательно, чтобы она включала в себя разделы, категории, подкатегории и т. д.

2. Анкоры ссылок.

Протокол XML-карты сайта предназначен для поисковых роботов. XML-файл содержит в себе информацию о том, когда последний раз обновлялся URL-адрес, насколько это важно и как часто происходят изменения.

Обычно Sitemap состоит из следующих XML-тегов:

Обязательные:
– определяет стандарт протокола и инкапсулирует этот файл.
– содержит в себе информацию о URL-адресе (является родительским тегом).
– содержит абсолютный URL-адрес.

Необязательные:
– указывает дату последнего изменения файла.
– указывает частоту смены файла.
– указывает на значимость документа на сайте. Диапазон значений: от 0,1 до 1,0 (по умолчанию 0,5).

Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.

Другие форматы Sitemap

Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:

Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.

Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.

Требования Google и Яндекса к файлам Sitemap

1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.

4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).

1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.

1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.

Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.

Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.

Как создать XML Sitemap

1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.

2. Определить, какой формат файла будете использовать.

3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.

Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке .

Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:

1. Парсим сайт.

2. Переходим в раздел «Сайты» => «Генерировать Sitemap».

3. Сохраняем в нужном нам формате.

4. Карта сайта готова.

Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator .

Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.

Исключить ненужные страницы можно и с помощью регулярных выражений.

Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.

Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.

Обязательные:
– аналогично тегу содержит в себе URL изображения и дополнительную информацию.
– URL изображения.

Необязательные:
– подпись к изображению.
– место съёмки фотографии.
– название изображения.
– URL-лицензии изображения.

Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.

Плюсы добавления XML-тегов для видео:

1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).

Карта сайта для видеофайлов состоит из следующих обязательных элементов:

– содержит URL-адрес страницы, на которой размещено видео; если на одной странице размещено более одного видео, не нужно каждый раз создавать тег , достаточно в одном теге несколько раз прописать для каждого видео на странице.
– включает в себя всю информацию о видео.
– URL к миниатюрному изображению (заставке) к видео. Рекомендованные размеры: от 160×90 пикселей до 1920×1080. Форматы изображения: .jpg, .png, or. gif
– заголовок, который должен совпадать с названием страницы, на которой отображается видео.
– описание видео. Должно соответствовать с метаописаниями страницы. Максимальное количество символов – 2048.

Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.

Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google .

Где разместить карту сайта

Более подробно описано, как разместить ссылку на карту сайта в robots.txt , у нас в статье.

Добавить и проверить Sitemap в Yandex.Webmaster

Чтобы сообщить роботу Яндекса о наличии карты сайта, добавьте её в панель Яндекс.Вебмастера:

1. Перейдите в раздел «Индексирование» – «Файлы Sitemap».

3. Нажмите кнопку «Добавить».

4. Ниже будет отображаться список со всеми добавленными файлами.

1. В панели Яндекс.Вебмастера перейдите в раздел «Инструменты» – «Анализ файлов Sitemap».

2. Укажите URL, загрузите файл или просто добавьте текст.

3. Нажмите кнопку «Проверить».

Добавить и проверить файл в Google Search Console

Чтобы сообщить Googlebot о наличии этого файла, нужно добавить его в панель GSC:
1. Перейдите в раздел «Сканирование» – «Файлы Sitemap».
2. Нажмите кнопку «Добавление / проверка файла Sitemap».
3. Укажите URL файла.
4. Нажмите кнопку «Отправить».

Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:

– «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.

– «Если я удалю URL из XML-карты, он будет удалён из индекса».
Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.

– «XML-файлы Sitemap трудно создавать и поддерживать»
Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.

Заключение

Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.