API同步至数据源

需求

[Feature] api同步到数据源

拆解

1.添加API数据源

Q:API数据源的连接方式？

A:http

2.同步

Q:如何同步？(同步方式)

A:使用SPARK进行同步

Q:来源数据的格式要求？

A:来源格式，用户可以自定义jsonpath，参考kafka实时同步

Q:拿到数据后需要怎么处理？

Q:处理完成后，如何同步至去向数据源？

A:拿到数据后，使用spark封装成dataset，然后把数据塞到临时表，然后使用sql的方式同步

可参考

自定义作业