用于API数据的ETL

提升用例

用于API数据的ETL

开箱即用的连接器非常好……当它们存在并由供应商为您的数据源进行维护时. 当他们不存在的时候, 你就会陷入构建和维护API连接器代码库和端到端部署的繁琐任务中. 与此形成鲜明对比的是, 提升上的自定义连接器框架允许你只关注你从API中需要的部分, 如抓取, 过滤, 和转换. 提升自动化处理, 基础设施, 维护API操作的所有角落用例:解析, 调度, 重试/错误处理, 并将数据加载到管道以及其最终目的地(数据仓库), blob存储, 等).

快5倍

以5倍的速度构建自定义连接器. 没有预构建连接器? 没有问题.

更少的时间维护

以及自定义连接器的故障排除

历史数据

保留API中不再可用的历史数据的副本.

它是如何工作的

  • 摄取 来自任何API的原始数据 通过w88平台的无代码UI、低代码YAML规范或全代码API指定您的数据源 & sdk
  • 统一和连接您的API数据与其他数据集,从您的数据湖, 仓库, 在其他地方用简单的变换 SQL、Python、Java或Scala
  • 将结果数据直接写入您喜欢的数据库、仓库、blob存储等等.
  • 其余的由提升来处理 ——策划运行时, 处理重试/错误, 管理并行工作, 以及数据的持久化拷贝.

会发生什么

想了解更多关于提升的工作? 查看w88平台的教程.