﻿SiteAnalyzer
------------

SiteAnalyzer это веб-краулер для проведения технического анализа и SEO-аудита сайта.

Основные возможности
- Сканирование всех страниц сайта, а также изображений, скриптов и документов
- Получение кодов ответа сервера для каждой страницы сайта (200, 301, 302, 404, 500, 503 и т.д.)
- Определение наличия и содержимого Title, Keywords, Description, H1-H6
- Поиск и отображение "дубликатов" страниц, мета-тегов и заголовков
- Определение наличия атрибута rel="canonical" для каждой страницы сайта
- Следование директивам файла "robots.txt", мета-тега "robots", либо X-Robots-Tag
- Учет "noindex" и "nofollow" при обходе страниц сайта
- Ссылочный анализ: определение внутренних и внешних ссылок для любой страницы сайта
- Расчет внутреннего показателя PageRank для каждой страницы сайта
- Визуализация структуры сайта на графе
- Поиск и отображение цепочек редиректов
- Сканирование произвольных URL и внешних Sitemap.xml
- Генерация карты сайта "sitemap.xml" (с возможностью разбиения на несколько файлов)
- Фильтрация данных по любому параметру
- Экспорт отчетов в CSV, Excel и PDF

Отличия от аналогов
- Низкие требования к ресурсам компьютера, малый расход оперативной памяти
- Сканирование сайтов практически любых объемов за счет низких требований к ресурсам компьютера
- Портативный формат (работает без установки на ПК или прямо со сменного носителя)
- Условия распространения: Бесплатно

История версий
--------------

Версия: 2.4.1 (build 240), 10.12.2020:
- исправлен некорректный подсчет дубликатов страниц
- исправлен некорректный подсчет страниц, отсутствующих в Robots.txt
- добавлена возможность учета тега Noindex в Meta Robots и X-Robots-Tag
- оптимизирован парсинг нескольких дескрипшенов на странице - теперь берется первый по списку

Версия: 2.4 (build 239), 30.11.2020:
- добавлен экспорт данных на вкладках Custom Search и Custom Filters
- добавлена фильтрация данных на вкладках Custom Search и Custom Filters
- в разделе Custom Filters (3xx редиректы) добавлена выгрузка конечных канонических страниц
- восстановлена возможность сканирования сайтов, размещенных на локальных серверах (localhost)
- исправлено некорректное отображение актуальной информации о дубликатах страниц сайта
- исправлено некорректное отображение alt и title для изображений
- исправлен некорректный учет внешних ссылок, когда URL исследуемого домена входит в URL внешней ссылки
- исправлен баг отображения некорректной информации при переключении между проектами
- исправлен баг избыточного отображения бесконечных редиректов
- исправлен баг зависания прогрессбара во время экспорта данных
- исправлен баг зависания процесса открытия проекта на 90% выполнения
- ускорена постановка на паузу процесса сканирования при импорте URL из файла
- исправлен не всегда корректный учет правил Robots.txt
- исправлен не всегда корректный учет данных в модуле "График распределения ссылок"
- исправлена опечатка "Content T1ype" в разделе "Статистика обхода сайта"
- на вкладке "Изображения" добавлено отображение ссылок на изображения с внешних доменов

Версия: 2.3 (build 231), 19.10.2020:
- добавлен график, отображающий динамику загрузки страниц (для наглядности страницы распределены по группам и временным интервалам)
- добавлена вкладка "Контент", отображающая статистику распределения контента по числу знаков и слов на странице
- на вкладке Custom Filters добавлен новый узел "Ссылки", содержащий статистику по страницам с большим числом исходящих ссылок и малым числом входящих
- график распределения ссылок стал связан с отчетом "Мало входящих" раздела Custom Filters: теперь при клике на график можно перейти на страницы, содержащие малое число ссылок
- исправлено аварийное завершение программы при сканировании сайтов со "сложными" редиректами
- в пустой программе (без проектов) исправлена реакция кнопки Старт на изменения в поле URL
- исправлено не всегда корректное отображение подзаголовков H1-H6
- добавлена возможность генерации Sitemap для изображений

Версия: 2.2 (build 225), 15.09.2020:
- добавлен модуль настраиваемых фильтров для поиска контента на страницах сайта во время сканирования
- добавлен график распределения внутренних ссылок на страницах сайта
- при перетаскивании узлов графа визуализации добавлен пропорциональный перенос дочерних элементов
- при выборе узла на графе, входящие и исходящие ссылки стали окрашиваться разными цветами
- добавлена интерактивность в блок легенды графа визуализации (при клике на элементы легенды, на графе выделяются соответствующие узлы)
- добавлен учет заголовка "X-Robots Tag" при сканировании сайтов
- оптимизирован парсинг заголовков H1-H6, использующих классы
- устранено зависание программы в конце сканирования на больших проектах
- в разделе дубликатов Description исправлено некорректное отображение статистики
- исправлено некорректное отображение статистики страниц с кодом ответа 404
- для страниц, заблокированных в Robots.txt, теперь отдается код ответа 600
- параметр "Время отклика" стал рассчитываться более корректно
- исправлена не всегда корректная верстка карты сайта Sitemap.xml
- редиректы стали отображаться более корректно
- сортировка по URL стала более логичной

Версия: 2.1 (build 216), 13.07.2020:
- добавлена возможность экспорта всех внешних ссылок, ошибок 404 и изображений со всеми страницами, на которых они присутствуют, в одном отчете
- добавлена возможность ручной перепроверки URL, отдающих ошибку 0 (Read Timeout), в один клик через контекстное меню
- добавлена возможность скрытия и отображения определенных столбцов и табов в блоке основных данных
- для страниц с кодом ответа 0 добавлено отображения статуса "Read Timeout" либо "Blocked by Robots.txt"
- на графе визуализации добавлен режим отображения размера узлов относительно их PageRank
- добавлена дополнительная кнопка для расчета PageRank на соответствующей вкладке
- добавлена возможность перестановки и запоминания порядка столбцов на вкладках
- добавлено сохранение активной вкладки при переключении между проектами
- добавлена возможность парсинга страниц, закрытых через .htpasswd
- добавлена возможность экспорта данных вкладки Дашборд в Excel
- исправлена ошибка AV, возникающая при переходе на вкладку "SERP Snippet", если не выбран активный проект
- исправлен некорректный учет входящих и исходящих ссылок и их отображение в различных блоках программы
- исправлено некорректное отображение процентных показателей содержимого узла "Уровень вложенности"
- исправлено некорректное отображение данных узла "Content-Type" в статистике сканирования проекта
- исправлена не всегда корректная работа фильтрации данных по точному соответствию
- исправлена проблема восстановления сканирования сайтов, поставленных на паузу
- исправлено некорректное указание признака HTTP/S при экспорте отчетов в Excel
- исправлен некорректный учет канонических страниц при сканировании сайта
- исправлен некорректный учет статистики Allow и Disallow для robots.txt
- исправлен некорректный учет ALT и TITLE для изображений
- исправлен не всегда корректный расчет PageRank
- исправлено Alernate на Alternate на панели Инфо

Версия: 2.0.2 (build 205), 13.04.2020:
- увеличена скорость парсинга (прирост порядка 10%), повышена стабильность работы сканера
- скорость рисования узлов графа увеличена на порядок 10 раз (теперь граф с легкостью может отображать до 100 000 узлов)
- оптимизировано время финального сохранения проекта в базу (актуально для сайтов больших размеров)
- оптимизировано отображение дубликатов заголовков H1-H6 (убраны дублирующие друг друга страницы)
- добавлена возможность отключения оповещения о выходе новой версии при старте программы
- добавлена колонка с указанием числа входящих ссылок на страницу на вкладке PageRank
- добавлена возможность поворота графа и изменения масштаба на произвольную величину
- исправлено не всегда корректное определение неканонических страниц (Wrong Canonical)
- исправлена ошибка «Access violation», возникающая при удалении большого количества URL
- исправлен баг исчезновения URL, возникающий при постановке на паузу процесса сканирования проекта / списка URL
- исправлен баг, при котором в поле Быстрой фильтрации не работала кнопка Delete
- устранены незначительные ошибки в юзабилити, исправлены мелкие баги

Версия: 2.0.1 (build 201), 07.01.2020:
- устранено зависание программы, возникающее в конце парсинга сайтов
- восстановлена возможность сканирования больших массивов ссылок при импорте URL из файла, буфера обмена, либо по ссылке
- исправлен некорректный экспорт структуры сайта в CSV

Версия: 2.0 (build 198), 23.12.2019:
- добавлена визуализация структуры сайта на графе (аналогично Screaming Frog)
- добавлена возможность сканирования сайтов по внутренним URL, а не только по главной странице, как было ранее
- добавлена возможность сканирования локальных сайтов на Denwer или Live Server по адресам типа http://127.0.0.1:5500/
- добавлено автоматическое пересканирование страниц, если их скачивание завершается таймаутом (например, когда сайт блокирует большое количество одновременных запросов и возвращает неопределенные коды ответа)
- добавлена возможность автоматического обновления версий программы (при старте программы или через главное меню)
- добавлена возможность копирования текста из поля ввода URL по Ctrl-C
- добавлен счетчик оставшегося времени сканирования текущего проекта
- оптимизировано управление скоростью скачивания и записью данных в базу (теперь сохранение данных в базу не будет таким долгим при большом количестве потоков сканирования)
- восстановлена возможность сканирования больших массивов ссылок при импорте URL из файла, буфера обмена, либо по ссылке
- восстановлена проверка индексации страниц через сервис Яндекс XML
- исправлен баг с некорректным ответом сервера при парсинге страниц, содержащих в URL знак плюс (+)
- исправлен некорректный экспорт структуры сайта в CSV (число страниц сайта выгружалось не полностью)
- исправлен некорректный учет содержимого тега BASE при парсинге страниц (когда BASE HREF представлял собой домен)
- исправлен баг, возникающий при удалении произвольных строк сразу после сканирования проекта (также добавлено удаление URL по кнопке Delete)
- исправлен баг, при котором сканер учитывал содержимое мета-тегов "noindex, nofollow" при отключении данной опции в настройках программы
- исправлен баг, при котором не отображалась область выделенного диапазона ячеек при потере курсора в таблице с основными данными

Версия: 1.9.2 (build 186), 03.10.2019:
- увеличена скорость сканирования сайтов, уменьшен расход оперативной памяти
- осуществлен переход на 64-битную версию (стало доступно сканирование сайтов до 10 млн страниц)
- добавлена возможность запуска нескольких копий программы одновременно
- добавлено сохранение параметров расширенной фильтрации при переключении между табами активного проекта
- добавлено запоминание ширины колонок на вкладках
- добавлена возможность постановки на паузу сканирования списка URL, загруженных при помощи импорта
- добавлен учет параметра lastmode при формировании Sitemap
- добавлена колонка "Сервер", указывающая тип сервера, на котором размещен сайт (пример: nginx/1.16.0)
- добавлено отображение состояний <пусто> и <отсутствует> для заголовков H1-H6
- добавлена возможность сканирования определенных групп URL, без необходимости сканирования сайта целиком (вкладка "Следовать URL" в общих настройках программы)
- добавлена возможность сканирования страниц, не отдающих значение заголовка Content-type
- оптимизирован подсчет дублей H1-H6 (отменен учет пустых либо отсутствующих H1-H6)
- содержимое вкладки "Исключить URL" общих настроек программы стало общим для всех проектов
- улучшено определение кодировок страниц
- исправлено некорректное отображение страниц с редиректами 3xx
- исправлен баг, связанный с некорректным учетом правил "robots.txt"
- исправлен некорректный парсинг страниц, содержащих в URL знак плюс (+)
- исправлен учет изображений при сканировании сайта, когда в настройках разрешен парсинг только HTML (если, например, отключенные объекты отдают код ответа 404)
- исправлено подвисание, возникавшее при загрузке больших проектов
- исправлен баг, возникающий при загрузке больших проектов, когда прогресс в нижнем прогресс-баре становился больше 100%
- при расчете SEO-статистики редиректам 301 и 302 присвоен синий значок вместо оранжевого и установлен 1 балл веса вместо 3-х

Версия: 1.9.1 (build 172), 19.07.2019:
- ускорен расчет PageRank (теперь даже для сотен тысяч страниц расчет PageRank стал занимать считанные секунды)
- при расчете PageRank добавлен учет передачи веса по 301 редиректам
- исправлен баг с некорректным учетом правил "robots.txt"
- исправлен баг, при котором в базу попадали файлы типа CSS и JS, если их сканирование было отключено в настройках программы
- исправлен баг, при котором в исходящих ссылках страницы оставалась исходящая ссылка от предыдущей обработанной страницы
- исправлен баг, при котором в настройках программы не сохранялось дефолтное число итераций расчета PageRank
- оптимизирована статистика отображения дублей заголовков H1-H6 в разделе "Статистика SEO"
- упразднена остановка сканирования при проверке тега BASE HREF, в случае, если они были указаны не корректно
- теперь, при остановке сканера из-за нехватки оперативной памяти скан ставится на паузу, а не останавливается
- устранены ошибки типа Access violation, периодически возникающие при закрытии программы
- ускорена запись данных в базу при остановке сканирования
- ускорено удаление проектов из базы данных
- улучшено отображение цепочек CANONICAL

Версия: 1.9 (build 154), 20.06.2019:
- добавлена возможность сканирования списка произвольных URL (используя буфер обмена или загрузку URL из файла на диске)
- добавлена возможность сканирования файлов Sitemap.xml (классический Sitemap либо индексный со списком XML-файлов)
- добавлена возможность выделения и копирования в буфер обмена значений ячеек по Ctrl+A
- ускорена операция удаления проектов (для полного удаления проектов необходимо делать сжатие базы через меню программы)
- исправлена проблема с не всегда корректным подсчетом пустых тегов H1
- исправлена проблема с не всегда корректным парсингом атрибута <title> у изображений
- исправлено зависание программы при перемещении по записям во время сканирования

Версия: 1.8.3 (build 148), 16.05.2019:
- добавлена вкладка Дашборд, отображающая подробный отчет о текущем качестве оптимизации сайта (отчет генерируется на основе данных вкладки Статистика SEO)
- добавлена возможность экспорта технической и SEO-статистики сайта, отображаемой на вкладке Дашборд, в удобный отчет в формате PDF
- в основных настройках программы добавлена возможность отключения учета тега <base>
- для более удобного копирования ячеек добавлены события по Shift и Ctrl
- при настройках парсинга только HTML-страниц исправлено подмешивание страниц других типов
- исправлена не всегда корректная обработка robots.txt
- восстановлено отображение внешних ссылок (исходящие ссылки)

Версия: 1.8.2 (build 145), 23.04.2019:
- добавлена возможность копирования в буфер обмена значений ячеек при множественном выделении элементов (основной блок + вкладка Инфо)
- добавлена визуализация загрузки проектов при старте программы
- добавлена визуализация экспорта проектов в Excel/CSV
- добавлена автоматическая очистка базы при удалении проектов
- в разделе "Структура сайта" добавлено отображение числа страниц в папках
- исправлен не всегда корректный экспорт данных в Excel/CSV
- исправлены подвисания и аварийные закрытия программы при навигации по вкладке Инфо

Версия: 1.8.1 (build 140), 09.04.2019:
- в списке проектов добавлена автоматическая группировка поддоменов относительно основного домена
- добавлено отображение исходного кода страниц типов: html, css, text, js (вкладка Инфо -> View Source)
- легенда графика с данными стала интерактивной и теперь также фильтрует данные исходя из значений легенды
- добавлена возможность экспорта отчетов по установленным фильтрам в таблице основных данных сайта
- добавлена возможность экспорта отчетов на вкладке Инфо для выбранного URL (входящие, исходящие, редиректы, изображения и т.п.)
- добавлена колонка X-Robots-Tag на вкладке <Все ссылки>
- исправлена некорректная обработка robots.txt
- исправлено ложное отображение HTTP/S протокола для страниц, которые на самом деле их не имеют
- исправлена проверка индексации страниц в Яндексе (любая страница показывалась в индексе, даже если это не так)
- исправлено не всегда корректное отображение ссылок формата HREFLANG
- исправлено некорректное отображение кодов ответов для Youtube-видео
- исправлено некорректное отображение внешних Nofollow ссылок

Версия: 1.8 (build 136), 13.03.2019:
- исправлено не всегда корректное сканирование сайтов, работающих по протоколу HTTPS (зависания и некорректная обработка слеша)
- добавлена корректная работа сканера с сайтами, поддерживающими протокол HTTP/2
- исправлен не всегда корректный учет тега CANONICAL при сканировании страниц сайта
- исправлен не всегда корректный учет ROBOTS.txt
- добавлен учет тега CANONICAL при экспорте Sitemap.xml
- исправлен некорректный учет настроек глубины сканирования сайта
- исправлен не всегда корректный парсинг PREV и NEXT
- исправлен некорректный парсинг ссылок, содержащих символы в верхнем регистре
- на вкладках Изображения, Видео и Документы добавлено отображение соответствующих файлов с внешних ресурсов
- в разделе Тип Контента технического аудита исправлен баг отображения статистики для элементов, отображающихся без указания типа содержимого
- при обнаружении новой версии программы добавлено окно с отображением полной истории изменений за все время
- исправлены прочие незначительные баги

Версия: 1.8 (build 135), 11.03.2019:
- полностью переработан раздел "Статистика SEO", предназначенный для проведения аудита сайта
- теперь SEO-аудит проверяет 50+ основных SEO-параметров и определяет 60+ ключевых ошибок внутренней оптимизации
- добавлена функция расчета внутреннего PageRank для любой страницы сайта
- добавлен учет инструкций X-Robots-Tag в заголовках страниц
- восстановлена работа программы с кириллическими доменами (проблема возникала из-за некорректной обработки CANONICAL)
- восстановлено отображение входящих ссылок на страницы с кодом ответа 404 (вкладка Инфо)
- восстановлено отображение всех редиректов сайта (в предыдущей версии часть из них не отображалась)
- исправлен баг с экспортом заголовков H1-H6
- исправлены незначительные пробелы в локализации программы

Версия: 1.7 (build 128), 11.12.2018:
- добавлена возможность бесплатной проверки индексации страниц в ПС Яндекс XML-лимитами с помощью сервисов Яндекс XML и Majento.ru
- добавлена возможность постановки проектов на паузу во время сканирования и продолжения сканирования после перезапуска программы
- добавлен парсинг тега rel="alternate" и отображение содержимого тегов "hreflang" и "media"
- добавлена возможность парсинга сайтов, отдающих данные в формате Gzip
- исправлен не всегда корректный подсчет страниц в фильтрах статистики сканирования сайта

Версия: 1.6.2 (build 120), 13.11.2018:
- добавлена возможность работы со списками прокси (групповое добавление, удаление, проверка на работоспособность)
- исправлено возникновение Exception EOutofresourse при групповом сканировании сайтов, когда в списке их больше ~1000

Версия: 1.6.1 (build 119), 31.10.2018:
- добавлен SEO-аудит сайта по длине title, description, h1-h6, числу внешних и внутренних ссылок, объему контента (Настройки -> SEO)
- добавлен учет ограничений на максимальное количество редиректов при парсинге сайта (Настройки -> Основные)
- добавлено отображение цепочек редиректов до конечной страницы (вкладка Инфо -> Редиректы)
- исправлено дублирование страниц при отображении дубликатов в режиме "Все" (через контекстное меню)
- исправлена некорректная кодировка при парсинге мета-тегов некоторых типов сайтов
- исправлены утечки памяти при загрузке иконок сайтов

Версия: 1.6 (build 112), 09.10.2018:
- добавлена возможность фильтрации данных по любым полям при помощи "быстрого" фильтра
- для более детальной фильтрации добавлена возможность использования настраиваемого фильтра с расширенными настройками выборки данных
- в панели с дополнительными данными добавлена вкладка технической статистики сайта (ссылки, мета-теги, коды ответа страниц, директивы "robots" и т.п.), а также вкладка SEO статистики (дубликаты мета-тегов, пустые заголовки страниц, наличие описаний в тегах "alt") с возможностью автоматической фильтрации по каждому параметру
- для блока HEAD добавлен учет краулером атрибутов "Next/Prev" и "Refresh" с возможностью отображения содержимого данных полей в статистике сканирования
- дата документа колонки "Последнее изменение" теперь отображается в формате текущей страны
- во вкладке "Сниппет выдачи Google" добавлено предупреждение "Snippets are only displayed for HTML format documents" для URI не text/html формата
- добавлено отображение иконок для кириллических доменов
- максимальное число потоков сканирования увеличено до 100
- исправлена выгрузка Sitemap.xml: теперь он проходит валидацию (амперсанд & заменен на его HTML-сущность "&amp;")
- исправлена проблема с зависанием при сортировке данных по щелчку на заголовке колонки

Версия: 1.5.1 (build 104), 08.08.2018:
- увеличена скорость экспорта данных в Excel + устранены баги, возникающие при экспорте крупных проектов
- увеличена скорость генерации карты сайта "Sitemap.xml"
- настройки программы для вкладок "Сканирование" и "Исключения" стали индивидуальными для каждого проекта
- исправлен баг, при котором объекты с типом "text/javascript" распознавались как документы, а не файлы типа "Javascript"
- исправлен некорректный парсинг мета-тега TITLE при размещенном на странице изображении SVG-формата (в котором этот тег также присутствует)
- исправлена некорректная сортировка в таблице основных данных сайта, имеющих тип "boolean" (например, сортировка в колонке HTTPS)
- добавлена круговая диаграмма, отображающая процентное соотношение объектов на сайте (страницы, изображения, стили, скрипты и т.п.)

Версия: 1.5 (build 101), 12.06.2018:
- увеличена скорость парсинга сайтов, повышена стабильность работы программы
- добавлена возможность скачивания отчетов в формате Excel (все результаты в одном файле, вкладками)
- добавлен парсинг видео (avi, mpeg, mov, ссылки на Youtube и т.п. форматы). Новая колонка "Видео" в общем отчете + вкладка
- добавлен парсинг документов (doc, xlsx, pdf, zip, mp3 и т.п. форматы). Новая колонка "Документы" в общем отчете + вкладка
- добавлена подсветка строк относительно типов контента (URL, стили, скрипты, изображения, видео, документы, прочее)
- добавлено визуальное отображение прогресса загрузки данных для "больших" проектов
- добавлена возможность копирования выбранных URL в списке доменов
- восстановлен парсинг и отображение файлов формата *.css
- исправлен некорректный учет правил файла "robots.txt" при парсинге сайтов
- оптимизирована структура базы данных, удаление проектов стало происходить в разы быстрее

Версия: 1.4.5 (build 96), 24.04.2018:
- увеличена скорость парсинга сайтов (по сравнению с прошлой версией, прирост скорости составил до 10 раз)
- устранены ошибки, периодически возникающие при записи данных в базу
- добавлена возможность выбора типов анализируемых объектов (страницы, изображения, стили, скрипты)
- добавлена возможность выделения нескольких URL и их запуск на пересканирование, либо их групповое удаление
- при экспорте данных добавлено автоматическое указание имени секции, которая выгружается (export_site.ru_h1.csv)
- при экспорте данных добавлен запрос на перезапись для уже существующих файлов

Версия: 1.4.4 (build 91), 18.03.2018:
- добавлена функция генерации структуры сайта исходя из спарсенных страниц, с возможностью выгрузки данных в Excel
- добавлена возможность сравнения средней скорости скачивания страниц для каждого сайта на графике

Версия: 1.4.3 (build 89), 26.02.2018:
- появилась возможность пакетного добавления сайтов в список проектов
- добавлено отображение скорости загрузки данных при парсинге сайтов (URI/сек)
- добавлено отображение favicon сайтов в списке проектов
- восстановлено отображение данных во вкладке "Инфо"

Версия: 1.4.2 (build 85), 11.02.2018:
- добавлено ограничение числа сканируемых страниц сайта
- добавлена возможность сканирования выделенных проектов (сканирование нескольких проектов по очереди)
- добавлена возможность удаления выбранных проектов

Версия: 1.4.1 (build 83), 20.11.2017:
- добавлен парсинг и отображение заголовков h1-h6, а также их дублей
- добавлена поддержка мультиязычности (программа стала доступна на русском, английском, украинском и еще 14 языках)
- в интерфейс программы добавлено запоминание размеров левой и правой панели, а также возможность их полного скрытия
- в настройках программы объединены в один два пункта по Meta Robots (учет NoIndex и NoFollow)
- исправлено некорректное определение кодировки текста у некоторых сайтов

Версия: 1.4 (build 79), 18.10.2017:
- добавлена информационная панель с подробными данными об интересующем URL (внутренние ссылки, внешние, изображения, сниппет)
- добавлена вкладка с отображением содержимого мета-тега "robots" (index, nofollow)
- добавлена возможность ограничения по времени сканирования проекта (указывается в часах)
- исправлено некорректное указание уровня вложенности страниц (теперь она считается с 0, а не с 1, как было ранее)
- исправлены незначительные ошибки в логике сканера, оптимизирован интерфейс программы

Версия: 1.3.2 (build 76), 03.10.2017:
- добавлено отображение подсказок для ячеек, содержимое которых было больше их ширины
- пересканирование проекта теперь начинается относительно изначально введенного URL, а не с корневого хоста, как было ранее
- исправлено некорректное следование директивам "robots.txt", а также следование Robots User-Agent

Версия: 1.3.1 (build 74), 24.09.2017:
- добавлена возможность сканирования кириллических доменов
- добавлена дефолтная сортировка списка проектов по названию
- добавлено запоминание активного проекта при закрытии программы и его загрузка при ее последующем запуске
- исправлен некорректный учет содержимого "robots.txt" при сканировании проекта
- добавлено следование директивам rel="canonical" и "base href" на страницах сайта
- добавлена возможность ручного указания числа страниц для разбивки "sitemap.xml" не несколько файлов
- восстановлена корректность логирования действий пользователя в программе (раздел Лог)
- восстановлено отображение прогресса сканирования на Taskbar

Версия: 1.3 (build 71), 10.09.2017:
- полностью переработан исходный код, увеличена скорость работы программы
- добавлена многопоточность (появилась возможность ручного указания числа потоков сканирования сайта)
- изменен принцип хранения данных с PostgreSQL на SQLite (сильно уменьшен размер дистрибутива)
- добавлена работа через Proxy, возможность указания User-Agent, а также исключение определенных разделов сайта при сканировании
- добавлен парсинг Java-скриптов и CSS-стилей (ранее они не учитывались)

Версия 1.2 (build 52), 21.02.2017:
- исправлено некорректное определение кодировки TITLE у некоторых сайтов
- добавлена возможность приостановки сканирования для последующего возобновления (кнопка "Пауза / Резюме")
- добавлена вкладка HRAFLANG, отображающая языковую принадлежность страниц (если указана)
- добавлены колонки с содержимым "alt" и "title" изображений (вкладка "Изображения")
- добавлено отображение внешних ссылок с атрибутом NOFOLLOW (вкладка "Внешние ссылки")
- добавлено отображение времени сканирования сайта (находится рядом с Прогрессбаром)
- исправлено сообщение "ZLibError (-3)" графе "Статус" для некоторых сайтов
- исправлены нулевые значения времени в колонке "Время загрузки"
- добавлено отображение прогресса сканирования сайта на Таскбар

Версия 1.1 (build 48), 05.02.2017:
- устранены баги, возникающие при парсинге мета-тегов "TITLE" (для части сайтов данные отображались в неверной кодировке)
- добавлен учет директив файла "ROBOTS.TXT", а также мета-тега "robots" при обходе страниц сайта
- добавлен учет rel="nofollow" при обходе страниц сайта
- добавлена генерация карты сайта "SITEMAP.XML" (в том числе "умное" разбиение карты на несколько файлов по 50.000 страниц)
- добавлена возможность отображения "дубликатов" страниц, мета-тегов и заголовков
- приведен в порядок интерфейс, повышена стабильность работы программы

Версия 1.0 (build 26), 20.11.2016:
- возможность сканирования всех страниц сайта (переобход сайта по ссылкам)
- определение title, description, keywords, h1-h2
- статистика по внутренним и внешним ссылкам
- определение кодов ответов сервера для загруженных файлов и страниц
- определение времени загрузки страниц
- экспорт отчетов в Excel (*.xls)

Контакты
--------

Web-site: https://site-analyzer.ru
E-mail: support@site-analyzer.ru

Copyrights
----------

(c) 2016-2020 Simagin Andrey