Сервіси агрегації даних
Багато компаній користуються відразу декількома системами: CRM , ERP, сайтом і зовнішніми інструментами. Сервіс агрегації збирає, зберігає і синхронізує дані між цими системами. Тим самим підвищується швидкість і якість бізнес-процесів. Згідно з дослідженням від Dresner, більше 80% експертів вважає інтеграцію даних критичною для операційної ефективності.
Як реалізувати збір даних
Основні методи агрегації контенту: підключення через API, скрапінг, імпорт з XML, CSV або Ексель-таблиць. Наповнювати агрегатор можна і вручну. Але через низьку швидкості такий спосіб програє іншим.Веб-API
Деякі сайти роздають дані через спеціальний інтерфейс - API. плюси:- постачальник віддає дані в готовому форматі;
- контент автоматично надходить до бази даних;
- якщо на сайті відкритий API, додаткового дозволу на імпорт даних просити не потрібно.
- сайт-джерело сам визначає, які дані і в якому вигляді роздавати.
Імпорт з CSV і Excel-таблиць
Деякі сайти експортують інформацію через CSV або Ексель-таблиці. плюси:- CSV - найкомпактніший спосіб експорту даних.
- дозволяє передавати тільки базову інформацію;
- не підтримує ієрархію даних на відміну від JSON і XML.
Скрапінг
Скрапінг - один із способів автоматичного вилучення даних з сайтів. Він включає кілька фаз: сканування заданих ресурсів, аналіз сторінок і копіювання потрібної інформації. плюси:- швидкий, автоматизований спосіб наповнення сайту;
- гнучкість налаштування.
- скрипт складно ідеально оптимізувати під всі типи сайтів;
- зчитування і аналіз сторінок споживає додаткові ресурси сервера;
- для уникнення юридичних суперечок необхідно отримати згоду адміністрації сайтів-джерел.
Функції
По суті, сайт-агрегатор - це пошуковий движок для зручного порівняння товарів і послуг або для підбору новин з цікавої теми. Навколо цих завдань і будуються ключові функції агрегатора.Пошук з фільтрами і сортуванням
Агрегатор накопичує мільйони записів в базі даних. Забезпечення пошуку по такій базі - перший серйозний виклик для розробників. Для вирішення цього завдання ми використовуємо пошукові движки, такі як Elasticsearch або Sphinx. Їх переваги:- інтерактивний пошуковий рядок пропонує варіанти видачі вже під час введення фрази;
- результати пошуку можна фільтрувати і сортувати за ціною, популярності та іншим параметрам;
- видачу можна оптимізувати, в залежності від місця розташування користувача. Наприклад, якщо він вибирає серед найближчих ресторанів або заправок.