A-Parser - многопоточный парсер поисковых систем

Тема в разделе "SEO-оптимизация и продвижение сайтов", создана пользователем A-Parser Support, 10 янв 2018.

Метки:
  1. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    [​IMG]
    Улучшения
    Исправления в связи с изменениями в выдаче
    Исправления
     
  2. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    7-й сборник статей. В нем мы научимся сохранять результаты в виде Excel файлов, продолжим изучение работы через API, а также ознакомимся с 5-ю способами автоматизации последовательного выполнения нескольких заданий. Поехали!

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Вывод результатов в виде xlsx файлов (стандартный формат Excel) - это очень популярный вопрос среди пользователей A-Parser. Ранее такой возможности не было, но с добавлением поддержки Node.js модулей это стало возможным. Поэтому мы публикуем статью, в которой показан реальный пример парсинга с сохранением в Excel. Ознакомиться со всеми подробностями можно по ссылке выше.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Это вторая часть из цикла статей по работе с A-Parser через API. В ней на примере парсинга e-mail будет рассмотрен метод addTask. Все детали - по ссылке выше.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Очень часто возникают задачи, решение которых требует использования возможностей сразу нескольких разных парсеров и при этом результаты работы одного нужно передавать в следующий. А-Парсер - это очень гибкий инструмент, поэтому существует сразу несколько способов, как автоматизировать последовательное выполнение нескольких заданий, при этом максимально автоматизируя работу и повышая производительность. Описание всех возможных методов читайте в обзоре по ссылке выше.

    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .
     
  3. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Вторая часть из цикла уроков о работе с API A-Parser. В видео на реальных примерах показана работа с методами addTask, getTaskState, getTaskConf и getTaskResultsFile.



    В этом уроке рассмотрены:
    • методы API для постановки длительных задач, а также для просмотра информации о задании
    • составление JSON для используемых API запросов
    • функция Получить API запрос
    • демонстрация работы с API, используя Postman
    Документация по API:

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Также рекомендуем статью с несколькими интересными кейсами использования A-Parser от руководителя оптимизаторов в «Ашманов и партнёры» Никиты Тарасова:

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Оставляйте комментарии и

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  4. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    [​IMG]
    Начиная с версии 1.2.455 мы начинаем официальную поддержку Node.JS модуля puppeteer - средства автоматизации работы с браузером Chrome(Chromium), благодаря чему возможен полноценный рендеринг DOM с поддержкой JS. В качестве примера мы выкладываем парсер, который делает скриншоты сайтов в формате PNG, доступен выбор размера скриншота. Chromium может быть запущен как на Windows, так и на Linux серверах без GUI.
    Улучшения
    • [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      полностью переписан, добавлен сбор дополнительных данных, а также в настройках добавлен выбор региона и языка интерфейса
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      добавлены все методы в настройки, а также реализована возможность переопределения через заголовок Method
    • Добавлена возможность форматирования всех цифр в интерфейсе
    • JS парсеры: в this.parser.request для override добавлена опция needData, которая определяет передавать или нет в ответе data/pages[], может использоваться для оптимизации
    • JS парсеры: добавлена поддержка модулей url и ws

    Исправления в связи с изменениями в выдаче

    Исправления
    • Исправлена работа функции Bypass Cloudflare в [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    • Исправлена ошибка, из-за которой при определенных настройках не писался Начальный текст
    • Исправлена работа некоторых socks4 прокси
    • Исправлена ошибка в $tools.base64.encode() при работе с кириллическими символами
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      исправлена ошибка, при которой игнорировался домен
    • JS парсеры: исправлена редкая ошибка в работе сокетов в Node.js
     
  5. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    31-й сборник рецептов. В нем будет показан способ создания скриншотов веб-страниц, парсинг подсказок Яндекс Маркета, а также проверка правописания в Google. Кроме этого, только до конца апреля доступна возможность купить XEvil со скидкой. Далее обо всем по порядку.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Для всех существующих и новых пользователей A-Parser действует скидка на покупку XEvil -50%!
    XEvil - это простая, быстрая и удобная программа для полностью автоматического распознавания и обхода подавляющего числа капч и рекапч, без необходимости подключения каких-либо сторонних сервисов. Использование XEvil в связке с A-Parser позволяет значительно удешевить парсинг ресурсов, где необходимо разгадывать капчи/рекапчи, при этом практически не теряя в скорости.
    Акция действует до конца апреля. Количество промокодов ограничено, поэтому не упустите возможность воспользоваться скидкой!
    Для получения промокода на покупку XEvil пишите в тикеты.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Возможность загружать страницы с полной обработкой всех скриптов, аналогично браузеру - это один из самых популярных фичреквестов для A-Parser. Поэтому буквально недавно была добавлена поддержка Node.js модуля puppeteer, с помощью которого теперь можно получать полностью отрендеренные страницы. И мы публикуем первый пример по работе с ним - парсер для создания скриншотов веб-страниц. Больше информации, пример работы и готовый парсер - все это доступно по ссылке выше.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Еще один парсер подсказок, на этот раз из Яндекс Маркета. Собираются подсказки, их популярность (частота), тип, а также, опционально, категория (включая полный путь родительских категорий). Готовый парсер, как обычно, доступен в нашем Каталоге по ссылке выше.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Данный парсер позволяет проверить ключевые слова через поиск Google на предмет опечаток и получить исправленные варианты. Готовый пресет доступен по ссылке выше.
    [​IMG]

    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !
    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .
     
  6. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    32-й сборник рецептов, в котором подобраны 3 JS парсера для парсинга Yahoo Answers, оценки ключевых слов и сбора контактных данных фрилансеров.

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Полноценный парсер сервиса Yahoo Answers, который по ключевым словам позволяет собирать непосредственно вопросы, ответы, а также их категории, дату создания и ссылки на страницы обсуждений.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Парсер, который ищет по ключевым словам фрилансеров и собирает их контакты. Данные собираются с сервиса fl.ru.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Парсер для сервиса seranking.com. Кейворды оцениваются по 4-м показателям: частотность, стоимость клика (CPC), стоимость трафика и KEI. Также есть возможность собирать похожие, релевантные и подсказки к начальному запросу вместе с их показателями.
    [​IMG]

    Еще больше различных рецептов в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .
     
  7. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    [​IMG]
    Улучшения

    Исправления в связи с изменениями в выдаче

    Исправления
     
  8. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    В этом видеоуроке будет показано, как настроить периодическую проверку окончания срока регистрации доменов, и получать уведомления в телеграм, если он меньше заданного количества дней.

    В уроке рассмотрено:
    • использование tools.js для написания собственных функций
    • работа с шаблонизатором Template Toolkit
    • проверка доменов через WHOIS
    • цепочки заданий
    • отправка сообщений в Telegram с помощью бота
    Полезные ссылки:
    Оставляйте комментарии и подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  9. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    [​IMG]
    Улучшения

    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена редкая проблема с ошибками в JS парсерах на Windows
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      исправлена работа функции Get full links для результатов без ссылок
    • Исправлена проблема с Decode JSON error в парсерах WordStat
    • Исправлен баг с перезагрузкой кода JS парсера при редактировании в сторонних приложениях, проблема возникла в одной из предыдущих версий

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  10. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    33-й сборник рецептов, в котором мы будем собирать данные из Google maps в указанной местности, спарсим блок вопросов и ответов в поиске Гугла и научимся использовать файлы целиком в качестве запросов. Поехали!

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Начиная с версии 1.2.482 в A-Parser появились парсеры карт Google и Яндекс. Принцип работы обоих одинаков - в настройках указываются координаты точки и зум, парсер собирает результаты поиска по ключевым словам в этой точке и области вокруг нее, ограниченной зумом. Но если стоит задача собрать данные, например, со всего города, то для ее решения нужно указывать диапазон координат и "заставить" парсер пройтись по ним. Как это сделать, а также пример пресета - все это показано по ссылке выше.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Google по некоторым запросам показывает в поисковой выдаче блок вопросов и ответов People also ask (Похожие запросы). Наши пользователи периодически интересуются, как можно парсить этот блок, получая отдельно вопросы и ответы на них. Поэтому мы публикуем в нашем каталоге пример такого парсера, а забрать его можно по ссылке выше.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Общеизвестно, что в А-Парсере каждая строка в исходном файле - это отдельный запрос. Но существуют задачи, когда необходимо использовать все содержимое файла как один запрос, игнорируя разбивку на строки. Благодаря JavaScript парсерам такая возможность есть и по ссылке выше опубликован пример парсера, который получает все содержимое файла, переводит его на заданный язык и сохраняет в новый файл.
    [​IMG]

    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !

    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  11. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    В этом видеоуроке мы изучим один из инструментов для работы с запросами - макросы подстановок. С их помощью можно значительно увеличивать количество запросов, листать страницы и многое другое.

    В уроке рассмотрено:
    • макрос {num} на примерах прохода по страницам и перебора координат в парсере Google maps
    • макрос {az} на примере парсинга по доркам для увеличения кол-ва запросов и соответственно результатов
    • макрос {each} на примере парсинга подсказок для генерации словосочетаний

    Полезные ссылки:

    Оставляйте комментарии и подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  12. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    [​IMG]
    Улучшения
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлен баг в [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      , из-за которого в некоторых случая парсинг завершался с ошибкой
    • В парсерах Maps::* исправлена работа с отрицательными координатами
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      исправлена ошибка определения "удачности" запроса
    • Исправлен баг в tools.js, возникший после обновления V8
    • API: исправлена работа метода getAccountsCount
    • JS парсеры: исправлен баг со слэшем в check_content

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  13. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    8-й сборник статей. В нем мы научимся парсить ссылки с GET параметрами, искать в поиске Google и скачивать документы, а также узнаем как очищать очередь заданий через API. Поехали!

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    В техническую поддержку часто задают вопрос, как собирать ссылки с GET параметрами для поиска SQL уязвимостей. Поэтому, по ссылке выше мы расскажем как это сделать, используя стандартный парсер Google.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    За последнее время уже несколько раз появлялись новости о том, что Google индексирует пользовательские документы, размещенные в их одноименном сервисе и открытые для доступа по ссылке. Соответственно все эти файлы становятся доступны в поиске. И пока Google разбирается с этим, по ссылке выше мы рассказываем как можно искать и скачивать такие документы.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Третья и заключительная часть из цикла статей по работе с A-Parser через API. В ней на примере очистки очереди задач будет рассмотрена работа со вспомогательными запросами, которые позволяют работать с очередью заданий. Все детали - по ссылке выше.

    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  14. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    34-й сборник рецептов, в котором опубликован пресет для оценки количества трафика на сайтах, парсер Ahrefs через API и пресет для парсинга информации об IP адресах. Поехали!

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Пресет для проверка трафика сайта через сервис siteworthtraffic.com. Собираются данные о количестве уникальных постетителей и просмотров, а также о доходе с рекламы. Оценка трафика на сайтах может быть полезна для фильтрации списка сайтов по критерию прибыльности и популярности. Пресет доступен по ссылке выше.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Парсер для сбора данных из популярного сервиса Ahrefs через их официальное API. Собирается множество данных, которые позволяют оценивать домены по различным характеристикам. Для использования нужен API ключ, который приобретается отдельно.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Небольшой пресет для сбора информации об IP адресе, а именно: подсеть, организация, страна и город. Данные собираются из сервиса whoer.net.
    [​IMG]

    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !

    Предлагайте ваши идеи для новых парсеров

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    , лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  15. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    [​IMG]
    Улучшения
    • Добавлен новый парсер API::Server::Redis (только для лицензий Enterprise)
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      добавлена возможность определять наличие расширенных сниппетов (rich snippets) в выдаче
    • В связи с изменениями на сервисе-источнике парсер SE::IxQuick был удален, а вместо него добавлен SE::Startpage с почти аналогичным функционалом
    • Улучшена логика работы функции Get full links в SE::Baidu SE::Baidu
    • В [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      реализована возможность указывать дополнительные заголовки для запросов
    • Улучшен парсинг меток сайтов в [​IMG]

      Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

      , а также добавлена поддержка новых типов меток
    • Улучшена логика работы функции Get full links в SE::Baidu
    • Оптимизирован алгоритм обработки подзапросов
    Исправления в связи с изменениями в выдаче
    Исправления

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  16. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    В этом видео уроке рассмотрен пример решения задачи по поиску страниц контактов у заданного списка сайтов. Также парсится тайтл и все это сохраняется в CSV файл.

    В уроке рассмотрено:
    • парсинг поиска Google для получения ссылки на страницу контактов
    • парсинг главной страницы сайта для получения title
    • использование инструмента $tools.CSVline для форматирования файла результата
    • пример правильного импорта в Excel
    Оставляйте комментарии и подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !


    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  17. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    35-й сборник результатов, где мы будем собирать комментарии из Youtube, искать контакты (телефоны и почты) на сайтах, а также парсить японскую выдачу Yahoo. Поехали!

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Представляем вашему вниманию JS парсер комментариев для видео на Youtube. С его помощью можно собирать тексты комментариев, а также информацию об авторах комментариев индивидуально для каждого видео. Также реализована возможность указывать количество страниц с комментарими, что позволяет при необходимости ограничить их сбор и тем самым увеличить скорость работы.
    [​IMG]

    Извлекаем телефоны, начинающиеся на 3 с помощью HTML::EmailExtractor
    Пресет, в котором показано, как с помощью HTML::EmailExtractor HTML::EmailExtractor собирать контакты со страниц сайтов. Данный пресет предназначен для сбора e-mail и телефонов, начинающихся с 3 (Украина), но при необходимости можно немного изменить регулярные выражения и собирать телефоны других стран.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    JS парсер для парсинга японской выдачи Yahoo. Используется домен search.yahoo.co.jp. Собираются ссылки, анкоры и сниппеты, а также есть возможность задать количество страниц для парсинга.
    [​IMG]

    Еще больше различных рецептов в нашем

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    !


    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  18. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    [​IMG]

    Улучшения
    Исправления в связи с изменениями в выдаче
    Исправления

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  19. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    В этом видео уроке рассмотрен способ сбора данных об организациях в указанной местности из Google Maps, используя встроенный парсер Гугл карт. Также показано как определить необходимые координаты на карте и задать их в парсере.



    В уроке рассмотрено:
    • Парсинг карт Google с использованием Maps::Google
    • Пример получения координат для использования в макросах подстановок
    • Работа с макросами подстановок при наличии отрицательных чисел
    • Импорт результата в Excel

    Полезные ссылки:
    Оставляйте комментарии и

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

     
  20. A-Parser Support

    A-Parser Support Well-Known Member

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!



    9-й сборник статей. В нем мы разберемся, как делать пресеты для анализа всех страниц сайта, научимся парсить все ссылки сайта из индекса ПС и будем проверять существование запросов. Поехали!

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Анализ страниц на сайте - это один из самых популярных кейсов использования А-Парсера. При этом можно собирать очень много различных параметров, начиная от проверки доступности и заканчивая поиском определенных слов на странице.
    О том, как сделать простой анализатор сайта и пойдет речь в этой статье.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Парсинг из индекса поисковых систем всех страниц сайта - это еще один популярный кейс для A-Parser. ПС ограничивают кол-во результатов по одному запросу, поэтому нужно как-то обходить это ограничение. Как это сделать - описано в нашей статье.
    [​IMG]

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!


    Пресет из этого примера позволяет проверить базу ключевых слов и определить, был ли запрос одноразовым без постоянного спроса или нет. Тем самым появляется возможность отфильтровать семантику и оставить только "хорошие" запросы. Больше деталей, а также готовый пресет - по ссылке выше.
    [​IMG]


    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Подписывайтесь на

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!

    .

    Предыдущие сборники статей

    Что бы просматривать внешние ссылки зарегистрируйтесь или авторизуйтесь на форуме!