狂甩酷拽吊炸天
发布时间:2020-03-24 17:57:21
1. 什么是Apache Hudi一个spark 库大数据更新解决方案,大数据中没有传统意义的更新,只有append和重写(Hudi就是采用重写方式)使用Hudi的优点使用Bloomfilter机制+二次查找,可快速确定记录是更新还是新增更新范围小,是文件级别,不是表级别文件大小与hdfs的Blocksize保持一致数据文件使用parquet格式,充分利用.........【阅读全文】
发布时间:2019-12-31 17:24:11
启动hadoop集群和mysql start 建立测试表create table t1(id int, name string) clustered by (id) into 8 buckets stored as orc TBLPROPERTIES ('transactional'='true');测试insert、update、deleteinsert into t1 values (1,'aaa');.........【阅读全文】
发布时间:2019-12-06 15:27:49
1、创建基表点击(此处)折叠或打开CREATE TABLE u_data ( userid INT, -- 用户ID movieid INT, -- 电影ID rating INT, -- 电影评分 unixtime STRING --时间戳).........【阅读全文】
发布时间:2019-12-02 17:34:07
最近经常遇到hive的表要在某个表的指定位置添加字段,总结一下:如果添加字段时不加()会报错,网上有很多都没有(),如果写成“column”不加“s”也会报错!......【阅读全文】