Xenu - бесплатный SEO аудит сайта и мертвых ссылок

В этой записи хочу рассказать о Xenu - бесплатной и простой программе с помощью которой можно провести достаточно хороший аудит сайта.

Я познакомился с этой программой когда хотел проанализировать сайт на наличие мертвых ссылок и избавиться от них. Но к моему удивлению обнаружил что Xenu выдает куда больше полезной информации.

Проверка на мертвые ссылки

Для справки: мертвые ссылки - это те ссылки которые ведут на несуществующие странички или сайты, то есть не несут какой либо пользы.

Почему важно удалять с сайта мертвые ссылки?

Представьте что Вы зашли на какой-то сайт, где описываются плюсы какого-либо онлайн сервиса, вам описание понравилось, вы прониклись, потратили время на чтение большого текста, посмотрели табличку сравнений и решили таки воспользоваться этим сервисом, нажимаете на ссылку и видите сообщение о том, что сайт уже два года как не работает. Каково будет Ваше впечатление? Конечно негативное. Именно исходя из этих соображений поисковики не любят когда на сайте присутствует большое количество мертвых ссылок, это говорит о том, что сайт содержит не актуальную информацию и люди перешедшие с поиска google на этот сайт останутся не довольны качеством поиска.

Для обнаружения мертвых ссылок в Worpdress можно установить плагин Broken Link Checker, который периодически опрашивает все ссылки на сайте и оповещает вас о результатах проверки. Но что если Ваш сайт слишком большой и ссылок тысячи? Тогда плагин может создавать слишком большую нагрузку на хостинг, пока проверит все ссылки. Вот тут-то и может пригодиться бесплатная программка Xenu, как альтернативное решение.

Но как я говорил Xenu расскажет вам не только о мертвых ссылках, она расскажет о куда большем.

О чем еще может рассказать Xenu

Суть работы самой программы достаточно проста - вы ей даете ссылку на страничку сайта (лучше всего на главную), она ищет на этой страничке все ссылки (как на внутренние страницы, так и на внешние) и посещает все эти ссылки. Если страница внутренняя - то снова собираются все ссылки со страницы и каждая посещается, и так до тех пор, пока Xenu не пройдет по всем ссылкам которые есть на вашем сайте.

Можно настраивать какие страницы посещать, какие не посещать, количество потоков, тип страниц и прочее. По окончании работы можно посмотреть красивый html-отчет. Но мне больше нравиться анализировать ту информацию, которая отображается в окне программы.

В главном окне программы выводиться список всех найденных ссылок и информация о них в виде таблицы, которая состоит из следующих столбцов (перечислю наиболее интересные):

• Address - собственно найденные URL, если отсортировать по алфавиту, то можно увидеть какие есть исходящие ссылки (не на ваш домен), оценить их количество, оценить внутреннюю структуру вашего сайта, сколько сколько страниц, файлов в той или иной категории. Двойной клик открывает страницу в браузере.
• Status - в этом столбце можно узнать статус загрузки страницы: ok - страничка загрузилась (зеленый цвет), красный цвет - какая-то ошибка (timeout, 404 и прочее). сортируя по этому столбцу можно найти мертвые ссылки. Правый клик мышкой - "url properties" чтобы узнать на какой странице находиться эта мертвая ссылка. Если много страничек на вашем сайте отдают timeout, то возможно ваш хостинг или сайт слишком медленные и не могут во столько потоков отдавать страницы, уменьшите количество потоков, если это наблюдается при менее чем 5-ть потоков - срочно меняйте хостинг или сервер на хостинге. Я кстати когда сменил сервер - проблема сразу же пропала, странички стали грузиться быстрее, в панели вебмастеров статистика индексации улучшилась, а значит поисковик начал меня больше любить =)
• Type - тип страницы\контента: это может быть просто html страница, может быть изображение (jpeg, png), js скрипты, css-файлы, архивы и прочее.
• Size - размер страницы. Сортируя по этому столбцу Вы можете обнаружить аномально большие страницы или файлы. Можно например найти большие изображения и сжать их более оптимальным образом - экономия пространства на хостинге и увеличение скорости загрузки.
• Title - title ссылки (если исходящая на внешний сайт), страницы (если ссылка внутренняя), изображения. Помните что гугл не любит когда на одном сайте или странице несколько одинаковых title? Если значение "redir" - значит это ссылка с редиректом, таким образом можно обнаружить все ссылки с редиректом.
• Level - уровень вложенности страницы. Помните о том, что чем большая вложенность - тем хуже (для индексации, для доступности пользователю, стоимости ссылки)? Можно посмотреть какие страницы имеют слишком большой уровень вложенности и подумать над структурой сайта, рекомендуют держать страницы сайта не дальше 3-го уровня вложенности. Если вдруг Вы обнаружите что некоторые ссылки имеют явно завышенный уровень вложенности, то это говорит, что на нее попали через редиректы: 1 редирект - +1 вложенность.
• Out Links - количество ссылок на странице (как на внутренние страницы, так и на внешние).  Правый клик мышкой - "url properties" покажет какие именно ссылки обнаружены на странице. Сортируя по этому столбцу можно обнаружить страницы с явно завышенным количество ссылок, да и в целом можно оценить качество перелинковки.
• In Links - количество внутренних входящих ссылок на эту страницу. Благодаря этому столбцу можно увидеть на какие страницы передается больше всего веса. Правый клик мышкой - "url properties" покажет какие именно страницы ссылаются.
• Duration - время загрузки страницы. Тут можно обнаружить медленные страницы. Медленными они могут быть из-за объема, подгрузки файлов с медленных внешних сайтов либо из за большой нагрузки на базу данных.

Из контекстного меню к каждой ссылке можно сразу перейти на html-валидатор страницы, alexa, кеш гугла или посмотреть на предыдущие состояния страницы через archive.org.

Мой вывод: Xenu является простым и достаточно мощным\информативным инструментом при аудите сайта, который обязательно нужно брать на вооружение.

Кстати у меня есть запись в котором я собираю список dofollow блогов, бывает нужно проверить является тот или иной блог dofollow, а исходящих ссылок на блоге найти не могу, тут Xenu тоже приходит на помощь - пару минут все ссылки блога как на ладони.

Ссылки:

• Официальный сайт Xenu
• Netpeak Spider - бесплатная и удобная программа-аналог для внутреннего аудита сайта. Список анализируемых параметров: URL, Глубина, наличие rel="canonical", код ответа сервера, Title, Description, Keywords, запрет индексации в robots.txt, MetaRobots, количество редиректов со страницы, количество H1, количество исходящих и входящих ссылок, расчёт внутреннего PageRank, Дубли по Title/Description/Keywords.