50,545
社区成员
发帖
与我相关
我的任务
分享2020-08-08：有一批气象观测站，现需要获取这些站点的观测数据，并存储到 Hive 中。但是气象局只提供了 api 查询，每次只能查询单个观测点。那么如果
2020-08-08：有一批气象观测站，现需要获取这些站点的观测数据，并存储到 Hive 中。但是气象局只提供了 api 查询，每次只能查询单个观测点。那么如果能够方便快速地获取到所有的观测点的数据？
...全文
请发表友善的回复…
发表回复
牧牛童子 2020-08-09
- 打赏
- 举报
之所以让你每次只能查一个点的数据，目的是防止大量数据泄漏，这是从安全角度出发的。
hashcon 2020-08-08
- 打赏
- 举报
那感觉最好用 Hive 的 UDF（User Define Function）功能，将调用api写入UDF的逻辑中。这样能利用Hive的分布式能力。例如：
定义UDF：
package test;
public class GetWeatherDataUDF extends UDF {
public String evaluate(String param) {
return getFromApi(param);//调用api
}
}
之后打包发布到Hive，定义这个UDF:
CREATE TEMPORARY FUNCTION GetWeather AS 'test.GetWeatherDataUDF';
最后就可以使用这个函数了，例如某个表的一列就是所有的参数：
select GetWeather(param) from one_table;
孤独的海啊 2020-08-08
- 打赏
- 举报
只有一个api只能写个for循环咯。 气象局如果不限速的话，多线程请求，存在本地，在本地自己想怎样就怎样了。
2020-08-08：有一批气象观测站，现需要获取这些站点的观测数据，并存储到 Hive 中。但是气象局只提供了 api 查询，每次只能查询单个观测点。那么如果能够方便快速地获取到所有的观测点的数据？
