[Kasheem]

Часто бывает, что вроде бы всё делаешь правильно, а потом оказывается, что сайт грузится по полчаса или половина страниц не индексируется. Я обычно использую Netpeak Spider. Он отлично подходит для технического аудита. Можно всё просканировать: заголовки, ошибки, битые ссылки, редиректы, дубли и тд.