ВЫСОКИЕ ТЕХНОЛОГИИ
НА СЛУЖБЕ ВЕБМАСТЕРА

Наш  курс  доллара: 40 u
Вход в аккаунт

Нововведения и улучшения в Hrefer 4.0 Professional01 октября 2013


  • реализована поддержка UTF-8 и других кодировок в файлах Words и Additive Words (кодировка определяется автоматически, но при желании можно указать свою)
  • реализован авто-обход капчи Яндекса (благодаря чему улучшен парсинг не только Яндекса + его сервисов, но и Рамблера)
  • восстановлен парсинг Google, Altavista, Rambler, Baidu, BoardReader, Blogs.Yandex (для парсинга Google рекомендуем использовать его клон Mail.Com, он в конце списка)
  • теперь опция "Enable filtering of duplicated links on loading links database" по умолчанию включена, это значит что при загрузке программа будет индексировать уже имеющуюся базу и фильтровать дубли в ходе парсинга корректнее — но из-за этого может показаться, что после перезапуска парситься стало медленнее; чтобы вернуть как прежде - просто выключите эту опцию, но в этом случае будет больше дублей при частом рестарте Hrefer-а
  • опция приведения к индексу, напротив, теперь по умолчанию выключена
  • улучшены низкоуровневые функции по работе с сетью
  • улучшен процесс распознавания капчи
  • в меню "Stats" добавлен "Sieve-filter report" для более прозрачного и понятного контроля фильтрации ссылок
  • улучшена обработка редиректов в процессе парсинга
  • добавлена поисковая система Search.Mail.Com (дублёр Google.Com)
  • там же, реализована поддержка обработки капчи
  • обновлён встроенный список юзер-агентов
  • добавлена кнопка "Undo" в окне редактирования "Additive Words"
  • устранён баг замены "%" на "%25" в кодированных запросах
  • увеличена детализация информации в "Help —> About"
  • устранена ошибка переполнения счётчика дублей
  • для большего удобства добавлены подсказки в инструменте тюнинга
  • добавлен чекер googlehost.txt, доступен через меню "Tuning"
  • улучшена работа с относительными путями при переходе на след.страницу (пример - BoardReader)
  • реализовано удаление Query-лога вместе с базой, при нажатии на кнопку "Clean"
  • скорректировано отображение чек-листа поисковых систем
  • устранён баг проверки прокси через цифро-буквенные домены
  • приведены примеры использования регулярных выражений в engines.ini, см. в инструменте тюнинга Hint-ы в полях "Links mask:", "Next page - 1", "Next page - 2"
  • в отладочном режиме расширено логирование получаемого контента — до/после редиректа, до/после капчи
  • расширена доп.информация в отчёте "имя_базы_query.txt"
  • добавлена система предупреждений
  • удалён лимит по количеству прокси/сокс
  • скорректирована работа опции "Add this pause between threads starting"
  • повышена стабильность работы программы
  • скорректировано возникновение ошибки "Internet connections error"
  • улучшена работа фильтрации по блек-листу xblack.txt
  • из формируемых запросов удалены "Proxy-Connection: Keep-Alive" и "Connection: Keep-Alive"
  • устранена погрешность отображения таблицы "Search engines stats", возникающая после сортировки
  • реализована возможность выпарсивания любого контента, а не только ссылок, для этого необходимо в hrefer.ini в секции [Search Engine options] прописать параметр HarvestAll=1
  • скорректирован вывод ссылок в инструменте тюнинга, расширены возможности просмотра результатов и анализа
  • добавлены текстовые файлы логики, см. папку LogicFiles
  • реализована подстановка мобильного юзер-агента, в случае если в заголовке ПС содержится слово "mobile", например "[Google Mobile]"
  • обновлена функция "Add words from Google"
  • добавлена возможность просмотра HTML-содержимого каждого потока, см. контекстное меню таблицы потоков, пункт "View last HTML content"
  • минимальная периодичность авто-сохранения результатов увеличена до 5-ти минут
  • минимальная периодичность авто-обновления прокси увеличена до 10-ти минут
  • усилена защита от нелегального копирования (к сожалению, из-за этого некоторые функции могут запускаться медленнее)
  • реализована возможность использовать прокси только для указанных поисковых систем
  • устранен баг доп.попыток ("Try") для тех потоков, где прокси отключены
  • реализовано чтение и вывод капчи на Baidu (пока — только через ручной/антикапча режим)
  • добавлен инструмент анализа отчётов xproxy_stats.htm / xsocks_stats.htm