Создание Sitemap

Sitemap (карта сайта) - это файл содержащий информацию о страницах сайта: URL страницы, дату последнего изменения, частоту изменения, "важность" страницы. Эта информация позволяет поисковым системам быстрее и качественнее индексировать ваш сайт.

Здесь можно создать файл Sitemap и автоматически поддерживать его в актуальном состоянии.

Возможности сервиса:

• сканируются сайты до 100000 страниц;
• поддерживается sitemapindex - создается несколько файлов Sitemap и файл индекса если страниц очень много;
• в файле Sitemap корректно отображается дата последнего изменения (lastmod) даже если сервер, по разным причинам, не может выдать реальную дату последнего изменения страницы;
• автоматичекси формируется частота изменений страницы (changefreq);
• при сканировании учитываются директивы robots.txt, в том числе расширения Yandex;
• поддержка директивы Crawl-delay в robots.txt позволяет избежать высокой нагрузки на сервер. Это особенно важно при сканировании больших сайтов содержащих десятки тысяч страниц;
• все настройки сканирования можно указать в robots.txt в специальной секции: "User-agent: d-sitemap";
• обновление файла Sitemap производится регулярно с указанной вами периодичностью, но не чаще чем 1 раз в день;
• оповещение после сканирования по e-mail или выполнением запроса GET для указанного вами URL;
• после создания Sitemap производится автоматическое оповещение Google, Ask.com, Bing;

Созданный Sitemap сохраняется здесь, в отдельной папке: http://d-sitemap.com/sm/NNN/sitemap.xml, где NNN - идентификатор получаемый при добавлении сайта.

Нет необходимости копировать созданный Sitemap в корневую папку сайта, достаточно в ваш robots.txt добавить директиву перекрестной отправки:

Sitemap: http://d-sitemap.com/sm/NNN/sitemap.xml

^{Обратите внимание на правила добавления этой директивы}.

Если есть необходимость хранить Sitemap в другом месте, например, в корневой папке сайта, нужно воспользоваться механизмом оповещений и скопировать обновленный Sitemap вручную или автоматически.