【maxcompute】阿里maxcompute Python开发个人经验汇总
项目背景
应要求需要将一个Python数据模型迁移到阿里的maxcompute平台，数据也在dataworks上
- 主流使用Java开发，关于Python开发的公开信息有点过少且零散了
几个概念区分
PyODPS
- 线上的dataworks节点，可直接使用Python执行数据操作
- 官方参考资料
Python资源
- 存储在maxcompute中的Python源代码、三方包
- 官方参考资料-创建并使用MaxCompute资源
UDF（Python）
- 基本思路是将一些计算能力打包为三方包，使用UDF/UDAF/UDTF定义接口进行调用
- 官方参考资料-UDF开发（Python3）
- UDF所需的Python三方包打包
- 打包更详细的方法参考
本地数据开发
- 将maxcompute当作数据库，查询数据本地处理后写回
- 安装Python的pyodps库，按文档编写即可
- API文档
其他
AI问答：MaxCompute数据组件迁移方案：UDF与DataWorks集成