Chinaunix首页 | 论坛 | 博客
  • 博客访问: 598732
  • 博文数量: 140
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 1202
  • 用 户 组: 普通用户
  • 注册时间: 2016-03-11 14:13
个人简介

狂甩酷拽吊炸天

文章分类

全部博文(140)

文章存档

2020年(1)

2019年(37)

2018年(17)

2017年(35)

2016年(50)

发布时间:2020-03-24 17:57:21

1. 什么是Apache Hudi一个spark 库大数据更新解决方案,大数据中没有传统意义的更新,只有append和重写(Hudi就是采用重写方式)使用Hudi的优点使用Bloomfilter机制+二次查找,可快速确定记录是更新还是新增更新范围小,是文件级别,不是表级别文件大小与hdfs的Blocksize保持一致数据文件使用parquet格式,充分利用.........【阅读全文】

阅读(236) | 评论(0) | 转发(0)

发布时间:2019-12-31 17:24:11

启动hadoop集群和mysql   start 建立测试表create table t1(id int, name string)  clustered by (id) into 8 buckets  stored as orc TBLPROPERTIES ('transactional'='true');测试insert、update、deleteinsert into t1 values (1,'aaa');.........【阅读全文】

阅读(7372) | 评论(0) | 转发(0)

发布时间:2019-12-10 11:03:43

Git命令大全git config配置 Git 的相关参数。Git 一共有3个配置文件:1. 仓库级的配置文件:在仓库的 .git/.gitconfig,该配置文件只对所在的仓库有效。2. 全局配置文件:Mac 系统在 ~/.gitconfig,Windows 系统在 C:\Users\<用户名>\.gitconfig。3. 系统级的配置文件:在 Git 的安装目.........【阅读全文】

阅读(5449) | 评论(0) | 转发(0)

发布时间:2019-12-06 15:27:49

1、创建基表点击(此处)折叠或打开CREATE TABLE u_data (  userid INT, -- 用户ID  movieid INT, -- 电影ID  rating INT, -- 电影评分  unixtime STRING --时间戳).........【阅读全文】

阅读(3997) | 评论(0) | 转发(0)

发布时间:2019-12-02 17:34:07

最近经常遇到hive的表要在某个表的指定位置添加字段,总结一下:如果添加字段时不加()会报错,网上有很多都没有(),如果写成“column”不加“s”也会报错!......【阅读全文】

阅读(7665) | 评论(0) | 转发(0)
给主人留下些什么吧!~~

jelon5212016-08-25 16:44

回复  |  举报
留言热议
请登录后留言。

登录 注册