Розробка сайтів-агрегаторів

Сервіси агрегації даних

Багато компаній користуються відразу декількома системами: CRM , ERP, сайтом і зовнішніми інструментами. Сервіс агрегації збирає, зберігає і синхронізує дані між цими системами. Тим самим підвищується швидкість і якість бізнес-процесів. Згідно з дослідженням від Dresner, більше 80% експертів вважає інтеграцію даних критичною для операційної ефективності.

Як реалізувати збір даних

Основні методи агрегації контенту: підключення через API, скрапінг, імпорт з XML, CSV або Ексель-таблиць. Наповнювати агрегатор можна і вручну. Але через низьку швидкості такий спосіб програє іншим.

Веб-API

Деякі сайти роздають дані через спеціальний інтерфейс - API. плюси:

• постачальник віддає дані в готовому форматі;
• контент автоматично надходить до бази даних;
• якщо на сайті відкритий API, додаткового дозволу на імпорт даних просити не потрібно.

мінуси:

• сайт-джерело сам визначає, які дані і в якому вигляді роздавати.

Зазвичай веб-API виконаний через один з двох форматів - JSON і XML. Перший - більш компактний і легко зчитується сервером, останній - вимагає додаткової обробки, але може містити візуальні дані і вважається більш безпечним.

Імпорт з CSV і Excel-таблиць

Деякі сайти експортують інформацію через CSV або Ексель-таблиці. плюси:

• CSV - найкомпактніший спосіб експорту даних.

мінуси:

• дозволяє передавати тільки базову інформацію;
• не підтримує ієрархію даних на відміну від JSON і XML.

Скрапінг

Скрапінг - один із способів автоматичного вилучення даних з сайтів. Він включає кілька фаз: сканування заданих ресурсів, аналіз сторінок і копіювання потрібної інформації. плюси:

• швидкий, автоматизований спосіб наповнення сайту;
• гнучкість налаштування.

мінуси:

• скрипт складно ідеально оптимізувати під всі типи сайтів;
• зчитування і аналіз сторінок споживає додаткові ресурси сервера;
• для уникнення юридичних суперечок необхідно отримати згоду адміністрації сайтів-джерел.

Функції

По суті, сайт-агрегатор - це пошуковий движок для зручного порівняння товарів і послуг або для підбору новин з цікавої теми. Навколо цих завдань і будуються ключові функції агрегатора.

Пошук з фільтрами і сортуванням

Агрегатор накопичує мільйони записів в базі даних. Забезпечення пошуку по такій базі - перший серйозний виклик для розробників. Для вирішення цього завдання ми використовуємо пошукові движки, такі як Elasticsearch або Sphinx. Їх переваги:

• інтерактивний пошуковий рядок пропонує варіанти видачі вже під час введення фрази;
• результати пошуку можна фільтрувати і сортувати за ціною, популярності та іншим параметрам;
• видачу можна оптимізувати, в залежності від місця розташування користувача. Наприклад, якщо він вибирає серед найближчих ресторанів або заправок.

Каталог і картки товарів

Під час пошуку потрібної пропозиції користувач може переглядати інформацію в каталозі або переходити на сторінки товарів. В каталозі вказуються основні параметри кожного пропозиції. Порядок товарів можна сортувати за різними критеріями. Картки товарів містять більш детальну інформацію про пропозиції: опис, характеристики, відгуки, зображення. Також в картці знаходиться кнопка замовлення або переходу на сайт продавця.

Повідомлення

У відвідувачів повинна бути можливість отримувати сповіщення про зміну цін, нові пропозиції або поява товарів на складі. Це можна виконати через імеіл, push-повідомлення в браузері або повідомлення в месенджері.

Відгуки

Якщо для агрегаторів оцінок відгуки - невід'ємний елемент, то для товарних сайтів - це додаткова функція, покращуючи призначений для користувача досвід. Збирати відгуки можна як про товари і послуги, так і про постачальників.

Динаміка цін на товар

Ця опція допомагає відвідувачам переконатися, що вони роблять покупку за оптимальною ціною, а не почати працювати, скажімо, з подорожчанням напередодні свят.

Маркетингові функції

Стимулювати призначену для користувача активність можна через персональні знижки, купони, бонуси або кешбек. Для реалізації цих функцій необхідна підтримка особистих кабінетів.

Особистий кабінет користувача

В особистому кабінеті відвідувачі можуть побачити історію перегляду товарів, інформацію про персональні пропозиції або залишати відгуки та оцінки. Для підвищення зручності та безпеки ми рекомендуємо виконати підтримку авторизації через соцмережі. А при реєстрації через електронну пошту - використовувати форму, що допомагає підібрати надійний