用户在DataWorks上执行MapReduce作业的时候js金沙:

原标题:通过轻松消肉,化解Dataworks 10M文件限制难点

摘要:
用户在DataWorks上举办MapReduce作业的时候,文件大于10M的JAGL450和能源文件不可能上传到Dataworks,导致力不能及利用调节去按时实施MapReduce作业。
化解方案: jar -resources test_mr.

用户在DataWorks上施行MapReduce作业的时候,文件大于10M的JA科雷傲和财富文件不能上传到Dataworks,导致无能为力利用调节去定期推行MapReduce作业。

化解方案:

第一步:大于10M的resources通过马克斯Compute CLI客户端上传,

客户端下载地址:

客户端配置AK、EndPoint:

add jar C:\test_mr\test_mr.jar -f;//增加财富

其次步:近年来通过马克斯Compute
CLI上传的能源,在Dataworks左边财富列表是找不到的,只可以通过list
resources查看确认财富;

list resources;//查看能源

其三步:减重Jar,因为Dataworks施行M帕杰罗作业的时候,一定要本地施行,所以保留个main就足以;

js金沙 1

通过上述方法,大家能够在Dataworks上跑大于10M的MENCORE作业。

作者:隐林

​本文为云栖社区原创内容,未经允许不得转发。归来微博,查看更加的多

小编:

Copyright @ 2015-2020 js金沙 版权所有
网站地图xml地图