Когда проблема в данных, а не в нехватке ещё одного приложения
У многих компаний уже есть ERP, CRM, интернет-магазин и бухгалтерская программа, и всё же кто-то каждый день выгружает CSV, перепечатывает заказы или сводит таблицы перед отчётом для руководства. Ещё одно приложение редко это решает. Нужна связка: согласованный контракт данных, автоматическая передача и понятный сигнал, когда что-то пошло не так.
Типичные признаки того, что задача относится к этой категории:
- одни и те же данные клиента или товара вручную вводятся в две-три системы;
- отчёты собираются из выгрузок, которые кто-то должен не забыть запустить;
- интеграция держится на скрипте на компьютере одного сотрудника, и никто не знает, что происходит при ошибке;
- партнёры или клиенты спрашивают про API, а доступ к данным сегодня означает файлы по почте;
- ключевой процесс живёт в таблице, доступ к которой есть у слишком многих, и без истории изменений;
- поставщик открыл API, но у вашей команды нет времени на интеграцию.
Пять услуг категории и как выбрать подходящую
Каждая услуга отвечает на свою потребность. Разговор мы начинаем с вопроса, кто будет пользоваться данными: человек, другая система или внешний разработчик.
Разработка API и интеграция систем
Когда две или более системы должны обмениваться данными предсказуемо: заказы из магазина в ERP, статусы со склада в CRM, данные вашего приложения партнёру. Мы проектируем контракт (чаще всего REST с документацией OpenAPI, иногда вебхуки или очереди), аутентификацию, валидацию и обработку ошибок. Ориентировочно от 1 900 USD.
API как продукт
Когда доступ к данным или функциям нужно продавать. Помимо самого интерфейса нужны ключи и аккаунты организаций, тарифы с лимитами, учёт потребления для биллинга, портал с документацией и политика изменений, на которую клиенты могут положиться. От 1 900 USD за коммерческий слой поверх существующего API.
ETL-процессы и коннекторы данных
Когда данные нужно регулярно переносить в больших объёмах в хранилище, BI-инструмент или другую систему, с маппингом полей, дедупликацией, повторными попытками и отчётом сверки, который показывает, что ничего не потерялось. От 1 900 USD за один коннектор.
Разработка SDK и клиентских библиотек
Когда API уже есть, а разработчики ваших клиентов тратят время на аутентификацию, пагинацию и разбор ошибок. SDK на нужном языке (например, TypeScript, Python, PHP, C#) превращает эту работу в несколько строк кода и сокращает число обращений в поддержку. От 1 500 USD за один язык.
Приложения баз данных
Когда с данными работают люди: вносят записи, ищут, согласовывают, готовят сводки. Таблицы, базы Access или старую систему без удобного интерфейса мы заменяем веб-приложением с ролями, валидацией и историей изменений. От 4 900 USD.
Типичные сочетания услуг
Проекты с данными редко ограничиваются одной услугой, но у каждого должна быть одна главная цель и один ответственный со стороны клиента. Остальные части мы оформляем как модули с отдельными критериями приёмки. Самые частые сочетания:
- API + SDK: публичное или партнёрское API, к которому сразу поставляется библиотека на языке, которым пользуется большинство ваших клиентов.
- ETL + дашборд: коннекторы наполняют хранилище, а BI-дашборды показывают метрики, которым руководство может доверять, потому что цифры сверяются с источником.
- Приложение баз данных + API: сотрудники работают в приложении, а другие системы читают и записывают те же данные через документированный интерфейс.
- Интеграция + автоматизация: данные передаются сами, а исключения попадают к человеку, который их согласует; это пересечение с автоматизацией бизнес-процессов.
Инженерные принципы для всех проектов с данными
Независимо от услуги мы соблюдаем несколько правил, которые отличают сопровождаемую интеграцию от той, что ломается после первого изменения у поставщика:
- Сначала контракт, потом код. Схема данных, формат ошибок и версионирование описаны (например, в OpenAPI или JSON Schema) и согласованы до начала реализации.
- Никакой тихой потери данных. Запись, которую не удалось обработать, попадает в очередь ошибок с указанием причины, а не исчезает.
- Идемпотентность и повторы. Повторная отправка того же сообщения не создаёт дубль заказа или двойной счёт.
- Наблюдаемость. Логи, метрики и алерты показывают, что передано, сколько это заняло и что не удалось.
- Минимальные права. У каждого подключения свои учётные данные с максимально узкими правами; они хранятся в менеджере секретов, а не в коде.
- GDPR с самого начала. Мы передаём только поля, нужные для цели, маскируем персональные данные в логах и заранее определяем, где хранятся данные.
При оценке безопасности интерфейсов мы опираемся в том числе на OWASP API Security Top 10.
Технологии под вашу существующую среду
Мы не навязываем единый стек. Бэкенд чаще всего пишем на Node.js, .NET, Python или PHP, чтобы ваша команда могла потом самостоятельно развивать код. Базы данных обычно PostgreSQL, MySQL или SQL Server. Для асинхронного обмена используем очереди (например, RabbitMQ или сервисы очередей облачных провайдеров) либо потоки событий, когда этого требует объём. ETL-процессы могут работать по расписанию в облаке (AWS, Azure, Google Cloud), в оркестраторе вроде Airflow или на сервере в вашей инфраструктуре.
Если готовый инструмент интеграции решит задачу дешевле собственного кода, мы прямо скажем об этом уже на этапе анализа. Бывает, что лучший результат анализа — настройка существующей платформы и разработка только недостающего элемента.
Как мы оцениваем проекты по данным и интеграциям
Цены в этой категории ориентировочные и указаны в долларах США без НДС; предложение можно получить также в евро или фунтах стерлингов.
- SDK или клиентская библиотека: от 1 500 USD;
- API, ETL-коннектор или интеграция: от 1 900 USD;
- приложение баз данных (MVP бизнес-приложения): от 4 900 USD;
- анализ и техническая спецификация: 490–1 500 USD;
- сопровождение: от 249 USD в месяц.
Сильнее всего на итоговую сумму влияют количество систем и эндпоинтов, качество документации API у поставщиков, состояние исходных данных, объём и частота синхронизации, требования к безопасности и необходимость миграции исторических данных. Платежи за внешние API, лицензии интеграционных платформ и потребление облака не включены, если в предложении не сказано иное. Мы работаем по фиксированной цене после анализа, по модели time & materials или с выделенной командой (от 6 500 USD в месяц). Подробности — на странице цен на разработку ПО.
С чего начать
Достаточно короткого описания: какие системы должны взаимодействовать, какие данные и в каком направлении, как часто, кто сейчас делает эту работу вручную и что происходит, когда он ошибается. Если у вас есть документация API поставщиков или примеры файлов выгрузки (без персональных данных), приложите их: это сокращает анализ. В ответ мы предложим следующий шаг, обычно платный анализ, который заканчивается спецификацией и тремя вариантами объёма: Essential, Recommended и Scale.
Мы работаем во Вроцлаве с клиентами из ЕС, Великобритании, США, Канады и Польши; общаемся на русском, польском, английском, немецком и испанском. Опишите свой проект или вернитесь к обзору всех услуг по разработке ПО.
Данные, API и интеграции систем
Частые вопросы
Можно ли интегрировать систему, у которой нет API?
Часто да. В таком случае мы используем обмен файлами (например, через SFTP), прямое чтение из базы данных в режиме только для чтения или, в крайнем случае, автоматизацию пользовательского интерфейса. У каждого способа свои риски и стоимость сопровождения, поэтому выбор обосновываем в спецификации.
Возьмёте ли вы интеграцию, написанную другим подрядчиком?
Да, после ревью кода, конфигурации, способа развёртывания и доступов. Ревью показывает, что можно исправить, а что лучше переписать, и служит основой для оценки дальнейших работ.
Кому принадлежат код и данные?
Данные всегда остаются вашими. Права на код, созданный по заказу, переиспользуемые компоненты и сторонние лицензии описываются отдельно в договоре до начала работ.
Где будет работать решение?
Лучше всего в вашем облаке или инфраструктуре, если они есть: тогда вы полностью контролируете доступы и расходы. Мы можем предложить и хостинг, но потребление облачных ресурсов оплачивается отдельно.
Нужен ли вам доступ к рабочим данным?
На этапе разработки обычно нет: мы работаем с тестовыми средами, выборками или обезличенными данными. Доступ к продуктиву согласуем только при запуске, с минимальными правами и с учётом требований GDPR.
Можно ли объединить несколько услуг в одном проекте?
Да. Спецификация определяет один основной продукт, а остальные элементы, например SDK к API или дашборд к ETL-процессу, становятся модулями с собственными критериями приёмки и отдельной строкой в смете.
