阿里巴巴大数据计算平台MaxCompute（原名ODPS）全套攻略（持续更新20171127）

 

概况介绍

产品地址：是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。本文收录了大量的MaxCompute产品介绍、技术介绍，帮助您快速了解MaxCompute/ODPS。

• 2.0专题

  最新推出的MaxCompute 2.0，在高性能方面主要依托于全新的SQL 2.0计算引擎。在新功能方面提供了非结构化的处理，在云上开始使用OSS（开放的对象存储）、OTS（开放的表格存储），MaxCompute对其进一步分析和计算提供了连接性。机器学习在新版本中提出了CPU和GPU统一的架构，在富生态中也提出了新的能力。本文收录了MaxComputeV2最新的使用攻略，帮助开发者更快的了解并玩转MaxCompute2.0。

  • Vectorized Execution Engine in MaxCompute 2.0简介
  • 基本及复杂数据类型扩展（TINYINT、SMALLINT、 INT、 FLOAT、VARCHAR、TIMESTAMP 、 BINARY、ARRAY、MAP、STRUCT ）
  • DML(INSERT操作、SELECT操作)及内建函数(日期函数、数学函数、字符串函数)更新
  • MaxCompute2.0 - ODPS重装上阵　第一弹 - 善用MaxCompute编译器的错误和警告
  • MaxCompute2.0 - ODPS重装上阵　第二弹 - 新的基本数据类型与内建函数
  • MaxCompute2.0 - ODPS重装上阵　第三弹 - 复杂类型
  • MaxCompute2.0 - ODPS重装上阵　第四弹 - CTE，VALUES，SEMIJOIN

  评测

  MaxCompute在业内证明了其几大优势：极低的自建成本，卓越的性能打破了四项世界纪录，优秀的架构确保了企业数据在整个生命周期内的安全性；通过自身核心竞争力和市场成绩单，斩获用户好口碑。本文收录了MaxCompute所有评测、技术奖项、等级证书等相关知识。

  • 持续创新和改进，为用户创造最大价值，阿里云数加MaxCompute获得C-Tech Awards 2016年度“最具技术创新奖”

  开发套件专题

  MaxCompute支持多款开发套件，如数加DataWorks，可以很方便的完成多源异构数据的同步、脚本开发、定时调度，MaxCompute Studio提供本地化的智能编辑器、Job分析，让代码更高效。本文收录了大数据开发套件的相关介绍、使用教程、最佳实践，帮您玩转大数据开发套件。

  DataWorks

  MaxCompute Studio

  机器学习PAI专题

  MaxCompute提供基于GPU的深度学习算法框架，在线预测服务等，以极低的代价帮助您的业务从BI时代跨入AI时代，真正实现人工智能触手可及。本文收录了机器学习技术原理、实践等相关知识，帮助开发者快速掌握机器学习。

  • 机器学习——让人工智能触手可及

  图计算Graph专题

  MaxCompute Graph 是基于飞天平台实现的面向迭代的图处理框架，为用户提供了类似于 Pregel 的编程接口，本文收录了图计算的介绍、技术原理、实践，帮您来更多的了解Graph。

  • 图计算Graph 介绍
  • 基于MaxCompute的图计算Graph 实践分享-可配置参数列表（持续更新）

  MapReduce专题

  当大数据业务逻辑很复杂，用SQL配合UDF(包括UDAF和UDTF)也无法实现的时候，可以使用MapReduce MapReduce来实现。本文收录了MapReduce的介绍、技术原理、实践，帮您来更多的了解MapReduce。

  •   MaxCompute MapReduce介绍及技术原理
    
  •  
    
  • 
    
  •  
    
  • 
    

  UDF专题

  • MaxCompute中实现IP地址归属地转换

  客户案例

  MaxCompute在短短的几年时间里，改变了很多行业，积累了大量的客户成功案例。比如东润环能在3个月内业务全面交付云端，数据处理时间不到原来自建方式的1/3，并确保云上数据安全无忧。墨迹天气日志分析业务迁移到数加MaxCompute后，开发效率提升了超过5倍，存储和计算费用节省了70%，每天处理分析2TB的日志数据，更高效的赋能其个性化运营策略。本文收录了大量的客户案例，总有一款适合您。

  • 借助数加，原来需要2-3天的单维度数据处理时间，目前仅需3-6小时，研发周期更短，产品需求符合度更高。
  • 登月1号：支付宝演绎空中升级绝技

新手入门

为MaxCompute新手用户提供入门级教程，如操作介绍、计量计费、数据上云、云上分析，帮助用户完成第一个SQL数据分析。

计费购买

提供MaxCompute计量计价说明，计费工具，售前计费沟通支持。

• 计量计费说明

技术峰会

收录各界MaxCompute大数据技术峰会，多位技术大咖、行业实践者从技术与业务两个方面，与大家探讨大数据如何最快落地到实践。

• 双管齐下，MaxCompute数据上云与生态
• MaxCompute 2.0 性能优化揭秘

·         演讲视频：

·         PDF下载：

·         演讲整理文章：

MaxCompute大数据语言的新发展

·         演讲视频：

·         PDF下载：

·         演讲整理文章：

大规模流式增量计算及其在阿里巴巴的应用

·         演讲视频：

·         PDF下载：

·         演讲整理文章：

PAI分布式机器学习平台计算模型演进之路

·         演讲视频：

·         PDF下载：

·         演讲整理文章：

MaxCompute数据上云与生态

·         演讲视频：

·         PDF下载：

·         演讲整理文章：

高可用大数据计算平台如何持续发布和演进

·         演讲视频：

·         PDF下载：

·         演讲整理文章：

专利大数据的云上裂变之路

·         演讲视频：

·         PDF下载：

·         演讲整理文章：

地产大数据趋势与应用实践

·         演讲视频：

·         PDF下载：

·         演讲整理文章：

用大数据打造你的变美频道

·         演讲视频：

·         PDF下载：

·         演讲整理文章：

云上大数据，零售新思维

·         演讲视频：

·         PDF下载：

·         演讲整理文章：

•          
  
•          
  
•          
•          
•          

Workshop

该课程是基于大数据时代日志分析的基础需求的基础上，告知用户如果通过阿里云MaxCompute大数据解决方案来实现自己网站日志的用户画像。包括数据采集、数据加工以及数据最终的展现，最后通过MapReduce来解密好友推荐算法的实现原理。

•          《云数据·大计算：海量日志数据分析与应用》Workshop-入口
  
•          
  
•          
  
•         
  
•          
  
•          
  
•          
  
•          
  
•          
  
•          
  
•         
  

MaxCompute1元试用体验馆

通过丰富的场景案例、教程，让您近距离低成本的感受MaxCompute大数据平台的魅力。

数据上云专题

对于大多数企业首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景，大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移，下面我们针对每种场景分别介绍几种常用方案。

数据安全专题

收录了MaxCompute大数据平台安全资质、安全机制、数据安全白皮书、安全事件等，带你更深入的了解MaxCompute如何保护企业数据资产。

• 你的大数据安全么？“Hadoop集群遭遇勒索软件攻击 ”
• 【阿里云大数据产品MaxCompute】DT时代企业数据资产的护卫舰

运维/容灾专题

收录了MaxCompute大数据平台运维成长过程，企业如何做好灾备、做好自动化运维保障等相关运维知识。

• 阿里云大数据计算平台的自动化、精细化运维之路

数据仓库专题

分享企业如何利用MaxCompute搭建数据仓库，如何做好ETL、建模、分层设计等相关数仓知识。

公开数据集

目前免费开放的数据类别包括：股票价格数据，房产信息，影视及其票房数据，所有的数据均被存储在MaxCompute 产品中的public_data 项目中。

大数据最佳实践

越来越多的企业和开发者选择MaxCompute，为了更好地展示这些优秀企业和个人开发者的伟大经验，搜集整理了这些最佳实践，希望这些最佳实践能够为你的开发工作带来一些帮助。

• 产品动手实践视频课-基于MaxCompute SQL实现商品推荐
  • MaxCompute SQL 
  • MaxCompute SQL 
  • MaxCompute SQL 
  • MaxCompute SQL 
  • MaxCompute SQL 
  • MaxCompute SQL 
  • MaxCompute SQL 
  • MaxCompute SQL 
  • MaxCompute SQL 
  • MaxCompute SQL 
  • MaxCompute SQL 
  • MaxCompute SQL 
  • MaxCompute SQL 
  • MaxCompute SQL 

常见问题

为大家整理了关于MaxCompute的系列问题供大家查阅参考，覆盖产品包括MaxCompute、MaxCompute Studio、DataWork、MaxCompute SDK，涉及的知识点有数据同步、SQL/UDF/MR开发、JOB任务调度分析、计量计费、安装、注销等等。

生态兼容

MaxCompute 从研发的第一天起就被设计统一由 Restful API 提供服务。在 Restful API 之上，我们各种语言的 SDK。由 SDK 编写形成的各种工具、驱动等等构成了 MaxCompute 的用户接口层，即外围生态；截止到今天，MaxCompute已支持JDBC、Java、python、R、OpenMR等开放接口，兼容现有大数据生态系统。

• 原来MaxCompute还能这么玩系列（2）—— 利用HiveServer2 Proxy实现MaxCompute与Hive生态工具的互通
• 原来MaxCompute还能这么玩系列（1）—— 通过Apache Zeppelin 快速实现数据可视化
• 基于OGG Datahub插件将Oracle数据同步上云
• RODPS介绍
•  
  
•  
  
•  
  
• 
  
•  
  
• 
  
• 
  
• 
  
• 
  

产品功能介绍

整理了MaxCompute官网使用手册之外的一些功能知识点介绍。

•     
•     
  
•     
  
•     
•    
•     
  
•     
  
•     
  
•      
  
•      
  
•      

技术原理介绍

深入浅出的剖析MaxCompute技术原理，比如SQL运行原理、MR机制、伏羲调度机制、盘古存储机制、优化器等等。

•          
  
•          
  
•         
  
•         
  
•         
  
•         
  
•         
  
•         
  
•         
  
•         
  
•         
  
•         
  
•         
  
•         
  
•        
  
•          
  
•          
  
•          
  
•          
  
•          
  
•          
  
•          
  
•          
  

大数据基础知识

介绍了目前关键的几个大数据方面的技术，什么是分布式计算、分布式存储、调度、监控等等，帮助开发者从Java工程师成功过渡到大数据工程师。

产品/技术资讯

提供MaxCompute最新的资讯、业界动态、领域技术应用、商机等内容。

• 阿里云2020年预期净利100亿，碾压99%A股公司 | 新龙榜
  
• 
  
• 
  
•  
  
•  
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
•  
  
• 
  
• 
  
• 
  
• 
  
•  
  
• 
  
•  
  
• 
  
• 
  
• 
  
•  
  
•  
  
• 
  
• 
  
• 
  
• 
  

与MaxCompute专家在线沟通/问答

招聘信息

 

欢迎加入“数加·MaxCompute购买咨询”钉钉群（群号： 11782920）进行咨询，群二维码如下：