ВЫСОКИЕ ТЕХНОЛОГИИ
НА СЛУЖБЕ ВЕБМАСТЕРА

Наш  курс  доллара: 40 u
Вход в аккаунт

Нововведения и улучшения в Hrefer 4.9 — 5.010 октября 2016


Hrefer 5.0


  • реализовано автораспознавание актуальных видов капчи Google и Yandex:


    Капчи Hrefer 5.0

  • добавлена новая поисковая система для парсинга Search-Results.com
  • реализован корректный ресайз главного окна программы
  • теперь по умолчанию включены все поисковые системы для парсинга
  • опция приведения к индексу теперь по умолчанию включена
  • сделаны небольшие поправки в интерфейсе
  • устранена проблема "обрезания" полученных ссылок при парсинге Baidu
    (если невозможно получить полную ссылку, она обрезается до последнего слэша — включительно, или знака "?" — исключительно)
  • обновлён механизм обработки капчи
  • обновлён engines.ini


Hrefer 4.9


  • значительно улучшена работа с HTTPS через SOCKS (рекомендуется использовать элитные, покупные SOCKS 5)
  • обновлена логика работы с поисковыми системами:
    • Yandex
    • Google Classic
    • Google Mobile
    • BING
    • Yahoo
    • GoGo
    • Blogsearch.Google
    • BoardReader
    • Rambler
    • Baidu
    • Mail.Com
  • обновлены модули работы с HTTPS
  • в engines.ini для параметра Query реализована поддержка вариаций и макросов (см. пример для [Google Mobile])
  • реализован обход необходимости обработки Deflate, в частности для поисковой системы BING
  • обновлены юзер-агенты
  • в опциях задержки добавлен параметр "For no-proxy threads only", позволяющий выдерживать задержку между страницами только для тех потоков, где не используются прокси:
    например, для того чтобы парсить Яндекс и Гугл без прокси но с большими паузами между страницами,
    а остальные поисковые системы — через прокси, но без пауз
  • скорректирована логика обработки NoAnyResults
  • скорректирована логика отображения "probably corrupted" для engines.ini
  • обновлён MakeToIndex.ini
  • устранён баг безусловного уточнения, следует ли сохранить собранную базу
  • исправлено отображение кириллических результатов распознавания капчи,
    полученных от внешних сервисов
  • добавлено спец.предупреждение о необходимости использовать SOCKS для поисковых систем, требующих HTTPS-подключение
  • обновлены /proxyc/engines.php и /proxyc/list.txt

Опубликованы важные инструкции по парсеру, рекомендуется прочесть перед использованием.