A-Parser - многопоточный парсер поисковых систем

Тема в разделе "SEO-оптимизация и продвижение сайтов", создана пользователем A-Parser Support, 10 янв 2018.

Метки:
  1. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]

    Улучшения
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена проблема с рандомизацией прокси на Windows 10
    • Исправлено зависание при использовании [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    • Исправлена проблема, при которой не применялся Content-Type в [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    • Исправлена редкая проблема с выбором файла запросов
    • Исправлена обработка редиректов при нестандартном порте
    • Исправлен вывод многострочных данных в tools.CSVline
    • JS парсеры: исправлена проблема с интерфейсом при отсутствии необходимых Node.js модулей
    • JS парсеры: исправлена проблема с подключением модуля jimp

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  2. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В этом видео уроке рассмотрен способ создания пресета для анализа сайта в глубину.



    В уроке рассмотрено:
    • Парсинг в глубину (уровень) сайта относительно страницы запроса при помощи функции "Парсить до уровня"
    • Получение title (с очисткой от HTML сущностей)
    • Получение таких параметров как:
      • кол-во предыдущих редиректов
      • код ответа сервера
      • кол-во внешних ссылок
    Полезные ссылки:

    Оставляйте комментарии и

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  3. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    36-й сборник рецептов, в котором опубликованы парсер для проверки текстов на уникальность, парсер GitHub и парсер для получения информации о посещаемости сайтов. А также список обновленных пресетов из нашего Каталога.

    Но, в первую очередь хотим поделиться результатами розыгрыша, который был проведен в связи с Черной пятницей. Мы разыграли 5 лицензий на А-Парсер среди всех новых участников нашего

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , которые присоединились к нему в период проведения акции. Результаты розыгрыша в видео:



    А теперь перейдем непосредственно к сборнику.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Задача проверки текстов на уникальность является одной из самых частых для копирайтеров. Возможность осуществлять такую проверку предоставляют много ресурсов. И парсер для одного из таких сервисов опубликован по ссылке выше.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Согласно Википедии, GitHub - это крупнейший веб-сервис для хостинга IT-проектов и их совместной разработки. Поэтому мы не могли обойти его стороной и публикуем парсер данных о репозиториях при поиске по ключевому слову на данном ресурсе.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Этот парсер позволяет получать информацию о просмотрах и посещениях страниц за день, месяц и год. В качестве источника данных используется один из известных сервисов.
    [​IMG]

    Кроме этого были обновлены:

    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !

    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  4. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]

    Улучшения
    Исправления в связи с изменениями в выдаче
    Исправления
    • В парсерах Google исправлена ошибка, при которой собираемые ссылки были с переводчиком
    • Исправлены проблемы с рандомизацией в некоторых случаях
    • Исправлена ошибка в

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      при парсинге только массивов данных
    • Исправлена проблема с проходом по пагинации, которая возникла в одной из предыдущих версий
    • JS парсеры: исправлена работа с Node.js модулем socks

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  5. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    37-й сборник рецептов. В него вошли: парсер Twitter, который умеет собирать сообщения, их авторов и т.п.; JS парсер, в котором объединены поиск и скачивание картинок; а также 2 пресета для парсинга Telegram, которые демонстрируют возможности по сбору данных из публичных групп.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Публикуем парсер, который по ключевому слову парсит данные из сообщений в Twitter. Собираются имя и логин автора, текст сообщения, дата публикация, количество лайков, ответов и ретвитов. Есть возможность указать количество страниц для парсинга.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Ранее мы уже публиковали JavaScript парсер, в котором объединены парсинг выдачи ПС и парсинг текста со страниц. Теперь представляем вашему вниманию JS парсер, в котором объединены поиск и скачивание картинок.
    [​IMG]

    Пресеты для парсинга публичных групп в Telegram
    Начиная с версии 1.2.709 в А-Парсер был добавлен [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    . Для демонстрации его возможностей мы опубликовали в Каталоге 2 пресета:

    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !

    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  6. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    10-й сборник статей, в котором будет показано, как с помощью А-Парсера получать уведомления в Телеграм об изменении цен на товары, как парсить характеристики товаров и выводить их в виде удобной таблицы, а также подробно описана работа с редиректами.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    В этой статье пошагово описан процесс создания парсера, с помощью которого можно отслеживать изменение цен товаров. При этом парсер будет присылать уведомление в Телеграм, а также можно легко добавить поддержку других сайтов.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Одной из частых задач для А-Парсера является сбор характеристик товаров в интернет-магазинах. И если сам парсинг совсем не проблема, то формирование итоговой таблицы, при условии, что характеристики должны быть распределены по отдельным столбцам, вызывает вопросы. Поэтому, в данной статье будет описан способ такого парсинга.

    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Большая справочная статья, посвященная тематике редиректов.
    [​IMG]

    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Предыдущие сборники статей

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  7. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.



    В уроке рассмотрено:
    • Парсинг поисковой выдачи Google
    • Вывод уникальных результатов в качестве главных доменов
    • Получение таких параметров как:
      • зарегистрирован домен или нет
      • дата регистрации и дата окончания регистрации домена
      • язык сайта
      • title и description
      • индекс качества сайта
      • позицию в глобальном рейтинге Alexa
      • cтрану с наибольшим числом трафика по Alexa
      • позицию в рейтинге этой страны по Alexa
    Полезные ссылки:
    Оставляйте комментарии и

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  8. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]

    Улучшения
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена работа Bypass Cloudflare в некоторых случаях
    • Исправлена работа при малом числе прокси
    • Исправлена проблема при редактировании дополнительных форматов результатов

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  9. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.
    [​IMG]

    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !

    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  10. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    11-й сборник статей, в котором рассказано, как в А-Парсере анализировать содержимое картинок, добавлять страницы своих сайтов в индекс Google и искать RSS ленты необходимой тематики.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    В этой статье на примере поиска картинок с определенным содержимым, показана работа с Google Vision. С помощью "компьютерного зрения" для каждого изображения присваивается набор меток, который описывает содержимое.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    В данной статье рассмотрена работа с Google Indexing API, который позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц. Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    В этой статье рассмотрен простой пример поиска ссылок на rss ленты по заданной тематике. Решение состоит из 3-х пресетов, каждый из которых отвечает за определенный этап работы.
    [​IMG]

    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  11. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]

    Улучшения
    Исправления в связи с изменениями в выдаче
    Исправления

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  12. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В этом видео уроке рассмотрен парсинг ресурса booking.com, получение результатов поиска квартир и отелей на сайте. Подробную информацию о них будем получать при помощи парсера

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!






    В видео рассмотрено
    • Пользование разделом тестового парсинга
    • Переход по страницам пагинации
    • Проверка наличия определенного контента на странице сайта
    • Использование регулярных выражений
    • Применение конструктора результатов (декодирование HTML сущностей)
    • Применение шаблонизатора Template Toolkit в формате результата:
      • Использование инструмента $tools.CSVline
      • Циклическая обработка директивой FOREACH
      • Виртуальный метод .match
      • Фильтры: .remove, .collapse, .replace

    Полезные ссылки

    Оставляйте комментарии и

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  13. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Представляем вашему вниманию 39-й сборник рецептов, в который вошли:
    • телеграмм бот опросник
    • парсер агрегатора цен hotline.ua
    • парсер аукционов транспортных средств copart.com

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Данный бот позволяет организовать ежедневный опрос сотрудников, при этом список вопросов можно гибко менять. Все настройки берутся из Google таблицы, а также туда пишутся ответы по каждому сотруднику.
    Также, этот пример демонстрирует возможность создания телеграмм бота на базе A-Parser и работу с Google таблицами.


    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    hotline.ua - это самый большой агрегатор цен в Украине. С его помощью можно мониторить и анализировать цены на товары у конкурентов или искать наиболее выгодные предложения среди большого количества интернет-магазинов.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Copart является одним из крупнейших интернет аукционов, специализирующихся на продаже новых и б/у автомобилей. По официальной информации каждый день на аукционе выставляется на продажу более 150 000 транспортных средств.
    [​IMG]

    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !

    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  14. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Мы начинаем публикацию серии коротких видеоуроков, каждый из которых будет посвящен какому-то одному функционалу.
    И в этом уроке будут рассмотрены варианты формирования имени файла результата.




    В видео рассмотрено:
    • Нумерация файла результата в соответствии с запросами
    • Нумерация файла результата + часть имени запроса
    • Именование файла результата по запросу, если запрос линк

    Полезные ссылки:

    Оставляйте комментарии и

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  15. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]

    Улучшения
    • Добавлен парсер [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      • собираются списки подсказок и варианты ключевых слов
      • для каждого варианта парсится среднее кол-во запросов в месяц, конкуренция, объемы поиска, а также минимальная и максимальная ставки
      • присутствует возможность указывать несколько ключевых слов в запросе
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      добавлена функция Get full links to page, которая позволяет получать реальные ссылки на страницы
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      добавлены переменные сбор количества отзывов и оценок, а также рейтинга
    • Улучшена проверка правильности разгадывания каптчи в парсерах Яндекса
    • Автоматическое увеличение лимитов на ОС Linux
    • Улучшена работа с регулярными выражениями
    • При бане прокси в лог задания теперь выводится более детальная информация
    • Native NodeJS переведена из стадии альфы в бету, проведено множество оптимизаций, за счет чего в большинстве сценариев это дает повышение максимальной скорости в 1.5-2 раза, а также уменьшение потребление памяти в 2-4 раза
      • Начиная с 1.2.822 все бета версии имеют включенный Native NodeJS, стабильные версии выходят с включенным oldnode
    • Native NodeJS: добавлена экспериментальная поддержка HTTP/2
    • Native NodeJS: обновление Node.js до актуальной версии
    • JS парсеры: добавлена опция allow_dangerous_node_modules, подробнее

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена работа [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      с доменами 3го уровня, а также улучшена проверка получаемого ответа
    • Исправлена работа Extra query string в [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    • Исправлена работа [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      и [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      при получении ответа без данных
    • Исправлен баг с типами переменных
    • Исправлена ошибка, при которой запросы ошибочно считались неудачными при постановке задания на паузу
    • Исправлена работа Bypass Cloudflare
    • Исправлен динамический лимит потоков
    • Исправлена ошибка при использовании Request delay
    • Исправлено предупреждение о превышении лимита в Поле запросов
    • Исправлена работа $tools.task.id в имени файла результата
    • JS парсеры: исправлены получение сессий и работа http2 (баг появился в одной из предыдущих версий)
    • JS парсеры: исправлено определение кодировки страницы
    • Native NodeJS: исправлено поведение при некоторых ошибках
    • Native NodeJS: исправлена проблема при обновлении A-Parser на OS Windows
    • Native NodeJS: исправлена работа save_to_file, а также еще ряд ошибок
    • Native NodeJS: исправлена работа SOCKS5 с авторизацией
    • Native NodeJS: исправлена подстановка данных после Конструктора запросов

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  16. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Представляем вашему вниманию 40-й сборник рецептов, в который вошли:
    • парсер данных о посещаемости организаций
    • парсер данных о SSL сертификатах
    • парсер товаров на ikea.com
    • комплексный пресет для анализа доменов по ряду характеристик
    • способ извлечения доменов из ссылок без фактического захода на страницу

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В поисковой выдаче Google для определенных запросов отображается расширенный сниппет с информацией об организации из Google карт. В частности, обычно отображается информация о посещаемости в разрезе дней недели.
    Представляем парсер, который собирает данные о посещаемости.

    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Данный парсер собирает информацию о SSL сертификате сайта. В качестве источника данных используется сторонний ресурс.

    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Парсер данных из ikea.com, который позволяет собирать различную информацию о товарах. Согласно данным из Википедии, ikea - это одна из крупнейших в мире торговых сетей по продаже мебели и товаров для дома.

    [​IMG]

    Кроме этого:

    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !

    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  17. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В этом видео уроке рассмотрены способы сохранения результатов в несколько файлов, используя переменные и массив, при определенных условиях.



    В видео рассмотрено:

    • Вывод результатов в разные файлы с разными именами используя переменные
    • Вывод результатов для каждого файла отдельно по определенному условию
    • Вывод результатов для двух файлов с условием, используя массив

    Полезные ссылки:


    Оставляйте комментарии и

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  18. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Представляем 41-й сборник рецептов, который полностью посвящен использованию различных Node.js модулей в A-Parser.
    • Работа с Google таблицами
    • Отправка писем из А-Парсера
    • Авторизация с помощью puppeteer

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Один из часто задаваемых вопросов в поддержке, это вопрос о возможности писать результаты прямо в Google Таблицы. Поэтому мы подготовили небольшой пример парсера, который демонстрирует такую возможность.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Еще одна возможность, о которой часто спрашивают наши пользователи - отправка писем. Такой функционал может быть использован для уведомлений о различных событиях в заданиях, в том числе о завершении их работы. Поэтому мы также подготовили пример, демонстрирующий отправку писем прямиком из А-Парсера.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Еще один пример по заявкам наших пользователей, демонстрирующий загрузку страницы, авторизацию на ресурсе и простую навигацию.
    [​IMG]


    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !

    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  19. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]

    Мы завершили переход на NodeJS в качестве основного движка для парсеров и представляем новую стабильную версию 1.2.912 с поддержкой NodeJS 14.2.0. Данное обновление сочетает в себе множество улучшений, включая повышение производительности, уменьшение потребления памяти, полностью новый сетевой стек, а также поддержку нативных NodeJS модулей, позволяющую использовать всю мощь каталога npmjs в A-Parser'е

    Также в данное обновление включены изменения по работе с ReCaptcha2 в парсере Google, наша команда одна из первых нашла решение по обходу новой версии рекаптчи и протестировала его совместно с сервисом RuCaptcha, за что им отдельный респект. На данный момент корректный обход каптчи протестирован с RuCaptcha, Anti-Captcha, XEvil и CapMonster.

    Помимо этого было произведено множество оптимизаций в ядре A-Parser'а, значительно увеличилась производительность при использовании большого числа заданий или больших списков прокси. Парсер [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    был полностью переписан и стабилизирован, добавлена поддержка нового формата apps.json и поддержка пользовательских правил.

    Улучшения
    Исправления в связи с изменениями в выдаче
    Исправления

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  20. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Представляем 42-й сборник рецептов, в котором собраны парсеры для определения наличия на сайте битых ссылок, сбора данных об используемых сервисах статистики и определения коммерциализации ключевых слов.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Ahrefs Broken Link Checker - это сервис, позволяющий определить наличие битых ссылок на сайте, а также некоторую другую полезную информацию.

    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Этот парсер собирает данные об используемых на сайтах сервисах статистики с ресурса BuiltWith. С его помощью можно получить список id используемых сервисов статистики, а также список других сайтов, на которых используются эти же id.

    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Способ определения степени коммерциализации ключевых слов, основанный на анализе поисковой выдачи Яндекса. Оценивается количество вхождений определенного списка слов в анкорах и сниппетах ТОП10 выдачи.

    [​IMG]

    Кроме этого:
    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !

    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!