A-Parser - многопоточный парсер поисковых систем

Тема в разделе "SEO-оптимизация и продвижение сайтов", создана пользователем A-Parser Support, 10 янв 2018.

Метки:
  1. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В этом видео рассмотрели где смотреть переменные, какие бывают скрытые переменные и какой результат они выводят на примерах.



    Содержание видео:

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - 1. Где смотреть какие у парсера есть переменные?

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - 2. Какие бывают скрытые переменные ($query.*, $root и т.п.)?

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - переменная root

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - переменная root объект

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - переменная query.orig

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - переменная query.first

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - переменная query.lvl

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - переменная query.prev

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - переменная query.num

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Оставляйте комментарии и

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  2. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]

    Улучшения
    Исправления в связи с изменениями в выдаче
    Исправления

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  3. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В 12-м сборнике статей рассказывается о принципах работы парсеров и факторах, влияющих на их скорость, показаны возможности debug режима в Тестовом парсинге по отладке запросов, а также на реальном примере разбирается работа с куками.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    В этой статье подробно рассказано об основном принципе работы парсеров и скорости их работы, а также рассмотрены основные факторы, влияющие на скорость парсинга.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    В этой статье рассказывается об одном из методов отладки парсеров, а также об анализе получаемых данных - debug режиме в Тестовом парсинге. С его помощью можно прямо в парсере анализировать и экспериментировать с заголовками и изучать приходящие в ответ данные.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    А в этой статье на реальном примере показана работа с куками сайта: рассказано как определять необходимость передавать куки и как искать только необходимые для запроса куки. При этом показаны два варианта: простые запросы средствами А-Парсера и использование NodeJS модуля puppeteer.
    [​IMG]


    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  4. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В этом видео уроке рассмотрены ответы на 3 часто задаваемых вопроса от новых пользователей А-Парсера


    • Где и как можно посмотреть результаты парсинга?
    • Как подключить прокси с авторизацией?
    • Extra query string, что это такое и как применять эту опцию?
    В уроке рассмотрено:
    • Просмотр результатов парсинга 3-мя способами:
      • Способ первый. "Из очереди заданий, если задание на паузе".
      • Способ второй. "Из очереди заданий, если задание завершено".
      • Способ третий. "Забираем результат из папки results".
    • Подключение прокси с авторизацией.
    • Примеры использования опции Extra query string.
    Полезные ссылки:
    Оставляйте комментарии и

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  5. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    43-й сборник рецептов, в который вошли пресет для парсинга освобождающихся доменов, парсер категорий сайтов и пример сбора данных из PDF документов.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Пресет, позволяющий парсить домены с аукциона Reg.ru. В пресете реализована возможность указывать количество страниц пагинации и использовать фильтр по ключевому слову.

    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Парсер, собирающий категории сайтов из MegaIndex.

    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Пример парсинга данных из документов в формате PDF. Для работы используется Node.js модуль pdf-parse.

    [​IMG]

    Кроме этого:
    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !

    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  6. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    44-й сборник рецептов, в который вошли парсер, определяющий категории сайтов (используя сервис Cloudflare Radar), парсер Rozetka через API и парсер интернет-магазина kufar.by с проходом по списку результатов.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Парсер для сбора категорий сайтов из Cloudflare Radar

    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Парсер, собирающий данные о товарах на торговой площадке Rozetka через API.

    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Парсер объявлений на сайте kufar.by с проходом по списку результатов. Собираются заголовки объявлений, цены, имена и телефоны авторов.

    [​IMG]

    А также, обновлены следующие ресурсы:
    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !

    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  7. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]
    Улучшения

    Исправления в связи с изменениями в выдаче
    Исправления

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  8. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    45-й сборник рецептов, в который вошли парсер результатов поиска на Google Places, парсер для prom.ua и пример скачивания картинок с одновременным определением их характеристик.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Парсер для поиска заведений по ключевым словам в Google Places. В отличие от парсера Google Maps здесь не нужно задавать координаты поиска, а достаточно вместе с ключевым словом написать нужный город.

    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Парсинг товарных позиций для одной из крупнейших в Украине торговых площадок prom.ua. Кроме собственно названий товаров и их цен, позволяет собирать такие данные продавцов, как телефоны и электронные почты.

    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В этом примере показан способ решения задачи по скачиванию картинок и одновременному получению их характеристик, а именно размера и ориентации. Для получения характеристик используется NodeJS модуль.

    [​IMG]

    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !


    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  9. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    [​IMG]
    Улучшения
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлен экспериментальный обход защиты Cloudflare с помощью Chrome
    • Исправлена ошибка в [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      , из-за которой не собиралось больше 1 страницы, а также исправлена проблема с получением исходного кода страниц
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      исправлено игнорирование настроек поиска, проход по пагинации, а также в некоторых случаях не делались повторные попытки
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      исправлена авторизация
    • Исправлена утечка памяти, которая проявлялась при долго работающих заданиях с большим числом запросов
    • Исправлена ошибка с Buffer, проблема появилась в одной из предыдущих версий

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!