A-Parser - многопоточный парсер поисковых систем

Тема в разделе "SEO-оптимизация и продвижение сайтов", создана пользователем A-Parser Support, 10 янв 2018.

Метки:
Страница 1 из 5
  1. A-Parser Support

    A-Parser Support Well-Known Member

    A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, email, телефоны, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    На сегодняшний день A-Parser развился в невероятный SEO комбаин, позволяющий покрыть огромное число задач для SEO-специалистов и вебмастеров любого уровня подготовки:

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Кроме этого мы предоставляем услуги по составлению заданий и написанию парсеров под ваши задачи, в кратчайшие сроки и по демократичной цене. Хотите спарсить целиком интернет магазин(Ozon, Amazon, AliExpress)? Проверить 100 миллионов сайтов по вашим признакам? Получить данные с любого сайта в структурированном виде(CSV, JSON, XML, SQL)? В решении этих задач поможет наша

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:
    • SEO-оптимизация сайтов и Web-аналитика
      • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
      • Оценка сайтов и доменов по множеству параметров
      • Мониторинг позиции любых сайтов в поисковых системах
      • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
      • Отслеживание обратных ссылок
      • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
      • Сбор и оценка ключевых слов
      • Сбор списка обратных ссылок
      • И многое другое
    • Web-безопасность
      • Сбор и фильтрация баз ссылок по признакам
      • Определение CMS сайтов
      • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
    • Сетевое администрирование
      • Работа с DNS службой - резолвинг доменов в IP адреса
      • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера

    A-Parser обладает следующими преимуществами:
    • Колоссальная производительность
      • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
      • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
      • Множественные оптимизации сложных операций
      • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
    • Промышленные масштабы
      • Парсер разрабатывался с учетом работы с неограниченным размером данных
      • Способен обрабатывать сотни миллионов и миллиардов запросов
      • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
    • Автономность
      • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
      • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
      • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
    • Поддержка более 70

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    • Создание собственных пресетов
      • Использование регулярных выражений
      • Поддержка XPath
      • Поддержка многостраничного парсинга
      • Проверка контента и наличия следующей страницы
    • Создание собственных парсеров
      • Быстрая разработка на JavaScript
      • Многопоточность и работу с прокси обеспечивает A-Parser
    • Распознавание каптчи
      • Поддержка множества сервисов: антигейт, cheap-captcha.com, rucaptcha.com и любых других на основе AntiGate API
      • Поддержка CapMonster и XEvil
    • Мощные инструменты для формирования запросов и результатов
      • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
      • Подстановки для запросов: из файла; перебор слов, символов и цифр
      • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
      • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
      • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, json, sql, произвольный формат)
    • Гибкость настроек
      • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
      • Настроить можно все - никаких рамок и ограничений
      • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
    • Сетевые возможности
      • Поддержка HTTP/1.1, HTTP/2 и HTTPS(TLS)
      • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
      • Полностью асинхронная работа с сетью, включая работу с DNS
    • API
      • Возможность интегрировать и управлять парсером из своих программ и скриптов
      • Полная автоматизация бизнес-процессов
      • Клиенты для PHP, Perl, Python и NodeJS
    • Постоянные улучшения и исправления
      • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
      • С тех пор было выпущено более 100 новых версий, включающих множество улучшений и исправлений
      • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей

    • Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
      • Создана подробная документация по A-Parser'у, открыт форум для пользователей
      • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
      • Разработчики A-Parser'а готовы ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера
    Более подробно ознакомится с возможностями парсера можно в полноценной

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.
    Для приобретения лицензии необходимо зарегистрироваться на сайте

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    и перейти на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .
    Если у вас возникли вопросы - обращайтесь по любым контактам в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
    A-Parser Support, 10 янв 2018
    #1
  2. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]

    Улучшения

    • Добавлена поддержка сессий в JavaScript парсерах
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      добавлена поддержка сессий и улучшена производительность за счет уменьшения частоты появления каптч/рекаптч
    • Добавлена переменная $query.prev - показывает запрос, который использовался на предыдущем уровне
    • Для JS парсеров добавлен метод this.logger.putHTML, который позволяет вывести в лог HTML код
    • В Lite версию добавлен[​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      и [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    • В x86 версиях добавлено предложение перейти на x64
    • Добавлена возможность переименовывания пресетов
    • В окне выбора пресета для папок реализована "память на сворачивание"
    • Изменены иконки для JS парсеров
    • Исправлены ошибки с переводом в интерфейсе
    • Исправлено отображение HTML тегов в логах
    • Исправлен баг при импорте с вложенным парсером
    • Исправлен баг с прокруткой при сохранении JS парсеров и пресетов
    • Доработан Конструктор регулярных выражений
    • Другие мелкие правки в интерфейсе, направленные на улучшение общей работы

    Исправления в связи с изменениями в выдаче


    Исправления

    • Исправлен баг с перемещением заданий в очереди
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      исправлен баг с кодировкой
    • Исправлена работа параметров Request delay и Extra query string во всех JS парсерах
    • Исправлен выбор файлов запросов
    • Исправлено отображение иконок для JS парсеров
     
    A-Parser Support, 24 янв 2018
    #2
  3. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Это видео начинает цикл уроков по созданию JavaScript парсеров. Здесь рассказано о том, как начать писать собственные парсеры, используя функционал JS парсеров в А-Парсере.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В уроке рассмотрено:
    • Создание кастомного JS парсера
    • Использование встроенного парсера внутри JS парсера
    • Парсинг выдачи поисковой системы с фильтрацией результатов по заданному условию
    Полезные ссылки:
    Статья и готовый парсер:

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Оставляйте комментарии и

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
    A-Parser Support, 3 фев 2018
    #3
  4. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Второе видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать несложный парсер сайта, который будет "листать" страницы, используя функционал JS парсеров в А-Парсере.



    В уроке рассмотрено:
    • Создание кастомного JavaScript парсера без использования встроенных парсеров
    • Парсинг контента сайта постранично с использованием регулярных выражений
    • Реализация прохода по страницам ("пагинации") в JS парсере

    Статья и готовый парсер:

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Оставляйте комментарии и

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
    A-Parser Support, 14 фев 2018
    #4
  5. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]

    В A-Parser 1.2.138

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    эмуляция

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    версии 8.9.x с поддержкой загрузки модулей и частичной реализацией fs и net модулей. Это дает возможность обращаться из JavaScript парсеров напрямую к файловой системе, а также использовать подключение по TCP из модулей к другим сервисам(например mysql, redis, chrome...).

    Все это позволило загружать и использовать node модули из каталога

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , в котором собраны множество полезных библиотек для обработки данных, коннекторы к базам данных и множество других интересных вещей. На данный момент протестированы следующие модули: md5, async-redis, jsdom, puppeter.
    Улучшения
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена работа Конструктора регулярных выражений
    • Исправлена работа с кодировками в парсерах переводчиков и JS парсерах
    • Исправлена работа [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    • Исправлен выбор региона в [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    • Исправлена работа опции Location в [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    • Исправлена работа сессий в [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      при переопределенном домене
    • Исправлена ошибка при совместном использовании опций Перезаписи файла, Начального и Конечного текстов
    • Исправлено отображение вкладок в Тесте задания
    • Исправлено отображение списка пресетов в поле Запустить по завершению
    • Исправлена работа this.proxy.set в JS парсерах
    • Исправлена передача дополнительных параметров в JS парсерах
    • Исправлена ошибка, из-за которой через API нельзя было указать Начальный и Конечный тексты
    • Исправлен экспорт пресетов
     
    A-Parser Support, 23 фев 2018
    #5
  6. A-Parser Support

    A-Parser Support Well-Known Member

    Использование Xevil совместно с A-Parser для разгадывания ReCaptcha2

    [​IMG]

    Как известно, сейчас Google при парсинге очень часто выдает рекаптчу, что значительно усложняет и замедляет сбор данных.
    В A-Parser есть возможность обходить данную проблему, разгадывая рекаптчу с помощью сторонних сервисов. Поддерживаются различные онлайн сервисы, а также программные решения.

    Одним из таких решений есть XEvil. Его использование дает хороший прирост в скорости, а также значительно удешевляет парсинг, ведь здесь нету оплаты за количество разгаданных каптч/рекаптч, как в онлайн сервисах. Кроме этого, XEvil умеет разгадывать практически любые обычные каптчи (в виде картинки) и данная возможность также поддерживается в A-Parser.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    На данный момент использовать разгадывание рекаптчи с помощью XEvil можно в таких парсерах:

    В видео показано:
    • подключение Xevil к A-Parser для работы с ReCaptcha2
    • проверка работы и демонстрация работы в SE::Google::Modern

    Ознакомиться более детально с возможностями XEvil можно по ссылкам:

    Оставляйте комментарии и

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
    A-Parser Support, 6 мар 2018
    #6
  7. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    21-й сборник рецептов. В нем мы научимся отправлять сообщения в Telegram прямо из A-Parser, изучим работу с модулями Node.js в JS парсерах на примере решения задачи фильтрации по множеству признаков, а также спарсим весь IMDb. Поехали!

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Telegram является одним из самых популярных мессенджеров благодаря своей простоте, и в то же время большому функционалу. Среди прочего, в Телеграме можно создавать ботов, с помощью которых можно делать чаты более интерактивными. Взаимодействие с ботом на на стороне сервера происходит через Telegram Bot API. Используя эти возможности, можно легко и буквально за несколько минут настроить уведомления себе в Telegram прямо из парсера. О том, как это сделать, а также несколько реальных примеров - по ссылке выше.
    [​IMG]

    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Как известно, для фильтрации в А-Парсере используется встроенный функционал

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    . Но бывают ситуации, когда список признаков, наличие которых нужно проверять, очень большой и его сложно вписать в строку стандартного фильтра.
    Начиная с версии

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    в A-Parser добавлена поддержка модулей Node.js. Благодаря этому появилась возможность читать список признаков из файла и использовать его для проверки страниц. О том, как это сделать, а также готовый парсер с мультифильтром - по ссылке выше.

    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Пример решения задачи по сбору данных о фильмах и их рекомендаций на IMDb. Данная статья показывает, как можно решать задачи, которые на первый взгляд требуют много времени и ресурсов, буквально за несколько часов. Узнать о том, как спарсить весь IMDb за 1,5 часа, а также посмотреть пресет и забрать готовую базу можно по ссылке выше.

    [​IMG]

    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !
    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Предыдущие сборники рецептов:
    Сборники статей:
     
    A-Parser Support, 16 мар 2018
    #7
  8. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]
    Улучшения
    Исправления в связи с изменениями в выдаче
    Исправления
     
    A-Parser Support, 27 мар 2018
    #8
  9. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.



    В уроке рассмотрено:
    • Создание JS-парсера для разгадывания капчи
    • Работа с объектом this.captcha внутри JavaScript кода
    • Описание процесса разгадывания каптчи, реализованного в A-Parser

    Статья и готовый парсер:

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Оставляйте комментарии и подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
    A-Parser Support, 6 апр 2018
    #9
  10. A-Parser Support

    A-Parser Support Well-Known Member

    Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов

    22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали!

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием доступны по ссылке выше.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Небольшой пример, который демонстрирует, как собрать поддомены одного или нескольких сайтов. Используется [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    и

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    для прохода вглубь по страницам сайта. При этом Конструктором результатов извлекаются из внутренних ссылок домены и выводятся с уникализацией по строке. Готовый пресет - по ссылке выше.
    [​IMG]

    Кроме этого:
    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !
    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Предыдущие сборники рецептов:
     
    A-Parser Support, 17 апр 2018
    #10
  11. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В этом сборнике статей мы рассмотрим все возможные варианты решения задачи прохода по пагинации на сайтах, очень детально изучим работу с переменными в JavaScript парсерах, а также попробуем работать с базами данных SQLite на примере парсера курсов валют. Поехали!

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В A-Parser существует несколько способов, с помощью которых можно реализовать проход по пагинации. В связи с их разнообразием, становится актуальным вопрос выбора нужного алгоритма, который позволит максимально эффективно переходить по страницам в процессе парсинга. В этой статье мы постараемся разобраться с каждым из способов максимально подробно. Также будут показаны реальные примеры и даны рекомендации по оптимизации многостраничного парсинга. Статья - по ссылке выше.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    JS парсеры в А-Парсере появились уже около года назад. Благодаря им стало возможным решать очень сложные задачи по парсингу, реализовывая практически любую логику. В этой статье мы максимально подробно изучим работу с разными типами переменных, а также узнаем, как можно оптимизировать работу сложных парсеров. Все это - в статье по ссылке выше.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Начиная с версии 1.2.152 в A-Parser появилась возможность

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .
    В данной статье мы рассмотрим разработку JavaScript парсера, который будет парсить курсы валют из сайта finance.i.ua и сохранять их в БД. В результате получится парсер, в котором продемонстрированы основные операции с базами данных. Подробности, а также готовый парсер - по ссылке выше.
    [​IMG]


    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Предыдущие сборники статей
     
    A-Parser Support, 27 апр 2018
    #11
  12. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]

    Улучшения
    • [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      - многократно увеличена скорость парсинга
    • Множество улучшений в [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      :
      • Возможность указать несколько DNS и задать метод выбора
      • Бан нерабочих/плохих DNS по специальному эвристическому алгоритму
      • Возможность вывести в результат использованный DNS сервер при удачном запросе
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      добавлена опция Use sessions
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      добавлена настройка пресета антигейта для логина
    • Также в [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      удалены настройки Use logins/Use sessions, теперь они включены всегда
    • Добавлена возможность автоматического удаления задания из Завершенных
    • В макросе подстановок {num} добавлена поддержка обратного отсчета
    • В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии
    • В JavaScript парсерах добавлена возможность прямого сохранения в файл
    • В API методе oneRequest/bulkRequest добавлена возможность указать configPreset
    • В связи с неактуальностью удалены парсеры SE::Google::Mobile и SE::Yandex::Catalog
    Исправления в связи с изменениями в выдаче
    Исправления
    • Количество неудачных больше не обнуляется при постановке на паузу
    • Исправлена проблема с подключением Node.js модулей на Linux
    • Исправлено падение парсера в редких ситуациях при использовании JS парсеров
    • Решена проблема с подключением Node.js модулей lodash, sequelize
    • Исправлена ошибка итератора при равных границах в макросе {num}
     
    A-Parser Support, 8 май 2018
    #12
  13. A-Parser Support

    A-Parser Support Well-Known Member

    Разгадывание рекаптч в JS парсере

    Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В уроке рассмотрено:

    Ссылки:

    Оставляйте комментарии и

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
    A-Parser Support, 18 май 2018
    #13
  14. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    23-й сборник рецептов. В нем мы будем парсить категории сайтов из Google, научимся формировать файлы YML, а также разберемся, как парсить даты и преобразовывать их в единый формат. Поехали!

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Категоризация сайтов - довольно актуальная задача, но существует немного сервисов, которые могут ее решить. Поэтому, по ссылке выше можно взять небольшой парсер, который позволяет получать категории сайтов из Google.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    YML - это стандарт, разработанный Яндексом для работы с Маркетом. По своей сути, это файлы, схожие с XML, в которых содержится информация о товарах в интернет-магазине. Данный формат обеспечивает регулярное автоматическое обновление каталога на Яндекс.Маркет и позволяет отражать все актуальные изменения (наличие, цена, появление новых товаров). Пример парсинга интернет-магазина и сохранения собранных данных в YML можно посмотреть по ссылке выше.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В поисковой выдаче Google возле новостей публикуется дата. Как правило, это могут быть метки "10 ч. назад" или "26 мая 2018 г.". Иногда может возникнуть задача спарсить все даты и привести их к единому виду. Как именно это сделать, можно узнать по ссылке выше.
    [​IMG]

    Кроме этого:
    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !

    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Предыдущие сборники рецептов:
     
    A-Parser Support, 29 май 2018
    #14
  15. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]

    Улучшения
    • Зависимая задача в Цепочке заданий теперь запускается только когда файл результатов не пустой
    • Добавлен повтор без смены прокси при неудачной отправке рекаптчи в [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    • Добавлен бан прокси при получении 403 кода ответа в [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    • Процент неудачных запросов теперь отображается относительно числа выполненных запросов
    • Добавлена возможность вызвать URL после выполнения задания
    • Улучшен обзор каталогов при выборе файлов запросов
    • Добавлена поддержка setInterval в JavaScript парсерах
    • Уменьшено Wait between get status и улучшено логгирование в [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    • Улучшена обработка редиректов
    • Добавлена защита от бесконечного выполнения в JavaScript парсерах
    • Значительно увеличены возможности check_content в JS парсерах
    • В ответе API метода info добавлены параметры workingTasks, activeThreads, activeProxyCheckerThreads
    Исправления в связи с изменениями в выдаче
    Исправления
     
    A-Parser Support, 12 июн 2018
    #15
  16. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    24-й сборник рецептов. В нем мы научимся мониторить окончание срока регистрации доменов с уведомлением в Телеграм, сделаем альтернативный чекер сайтов в базе РКН, а также на простом примере парсера курсов валют изучим работу с базами данных. Поехали!

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Мониторинг сроков регистрации доменов - это довольно распространенная задача. A-Parser позволяет легко автоматизировать этот процесс. Более того, можно настроить получение прямо в Телеграм уведомлений о доменах, срок регистрации которых скоро закончится. Готовое решение для автоматической проверки с уведомлением - по ссылке выше.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В А-Парсере есть стандартный парсер [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , который позволяет проверять наличие сайтов в базе РКН. Данные получаются напрямую из официального сервиса, для работы обязательно нужно подключать антигейт. Кроме того, официальный сервис РКН часто подвергается атакам, в связи с чем может быть недоступен. Но существуют альтернативные источники данных, доступность которых значительно выше и к тому же не требующие проверки в виде каптчи. Парсинг одного из таких источников и реализован в пресете по ссылке выше.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Как известно, в A-Parser есть возможность чтения/записи данных в БД SQLite. В этом рецепте показано использование этого функционала на примере парсинга курсов валют. Готовый парсер доступен по ссылке выше.
    [​IMG]

    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !

    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Предыдущие сборники рецептов:
     
    A-Parser Support, 22 июн 2018
    #16
  17. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]
    Улучшения
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена ошибка, из-за которой процент обработанных запросов мог быть больше 100
    • Исправлены ошибки, из-за которых парсинг мог зависать при снятии с паузы, а также сбивался перебор в макросах подстановок
    • Исправлено отображение кириллицы в $headers в [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    • Исправлена ошибка в Конструкторе результатов, из-за которой в редких случаях парсер мог падать
    • Устранена проблема с кодировкой при работе с SQLite
    • Исправлена ошибка со сменой прокси в JavaScript парсерах
     
    A-Parser Support, 3 июл 2018
    #17
  18. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В 4-м сборнике статей будет рассмотрено добавление товаров в OpenCart, а также описано создание универсального парсера JSON. В каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Данная статья начинает цикл об одной из наиболее часто запрашиваемых возможностей - заливке товаров в интернет-магазин. A-Parser - это универсальный инструмент, который кроме прочего может решать и такие задачи. Для тестов выбран движок OpenCart, в 1-й статье будет рассмотрена авторизация, получение списка товаров и добавление товара. Подробности, а также пример парсера - по ссылке выше.

    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    JSON - это довольно популярный способ предоставления данных, который, например, часто используется при работе с API различных сервисов. В А-Парсере есть встроенные инструменты для работы с ним, но не всегда их применение может быть простым, иногда требуется дополнительно писать сложные шаблоны, используя шаблонизатор. Поэтому в статье по ссылке выше будет рассказано, как написать простой универсальный парсер JSON.

    [​IMG]

    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Предыдущие сборники статей
     
    A-Parser Support, 13 июл 2018
    #18
  19. A-Parser Support

    A-Parser Support Well-Known Member

    Видео урок: Создание JS парсеров. Работа с SQLite

    Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео показано, как работать с базой данных SQLite в JS парсере.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В этом уроке рассмотрены:
    - Знакомство с языком запросов SQL
    - Создание простейшей базы данных SQLite при работе с JS-парсером
    - Получение и запись данных в базу SQLite при работе с JS-парсером

    Ссылки:
    -

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - учебник по SQL
    -

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - тоже учебник по SQL
    -

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - сайт, который использовался в качестве примера
    -

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - статья и готовый парсер

    Оставляйте комментарии и

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
    A-Parser Support, 24 июл 2018
    #19
  20. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]

    Улучшения
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена проблема с запуском на некоторых linux дистрибутивах
    • Исправлена загрузка node.js модулей в редких случаях на Windows
    • JS парсеры: добавлена поддержка dns.lookup и улучшена совместимость с модулем mysql2
    • JS парсеры: исправлен util.promisify
    • Исправлена работа некоторых Node.js модулей
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      и [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      $totalcount при 0 результатов теперь возвращает 0
    • Исправлено логгирование в режиме foreground
     
    A-Parser Support, 3 авг 2018
    #20
  21. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]

    Улучшения
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена проблема с запуском на некоторых linux дистрибутивах
    • Исправлена загрузка node.js модулей в редких случаях на Windows
    • JS парсеры: добавлена поддержка dns.lookup и улучшена совместимость с модулем mysql2
    • JS парсеры: исправлен util.promisify
    • Исправлена работа некоторых Node.js модулей
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      и [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      $totalcount при 0 результатов теперь возвращает 0
    • Исправлено логгирование в режиме foreground
     
    A-Parser Support, 3 авг 2018
    #20
Страница 1 из 5