-
数据湖（四）：Hudi与Spark整合
默认Spark操作Hudi使用表类型为Copy On Write模式。Hudi与Spark整合时有很多参数配置，可以参照https://hudi.apache....
Lansonli 2023-01-02
264 0 0 -
数据湖（十一）：Iceberg表数据组织与查询
由于后期需要查看avro文件内容，我们可以通过avro-tool.jar来查看avro数据内容。可以在以下网站中下载avro-tools对应的jar包，下载之后...
260 0 0 -
数据湖（十二）：Spark3.1.2与Iceberg0.12.1整合
Spark可以操作Iceberg数据湖，这里使用的Iceberg的版本为0.12.1，此版本与Spark2.4版本之上兼容。由于在Spark2.4版本中在操作I...
272 0 0 -
数据湖（二十）：Flink兼容Iceberg目前不足和Iceberg与Hudi对比
Iceberg和Hudi都是数据湖技术，从社区活跃度上来看，Iceberg有超越Hudi的趋势。他们有以下共同点：
268 0 0 -
大数据架构系列：如何理解湖仓一体
这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前449...
277 0 0 -
湖仓一体电商项目（六）：大屏可视化工具腾讯云图
大屏可视化工具有很多，例如：腾讯云图，帆软Finebi,阿里DataV,百度Sugar,思迈特SmartBi,免费的积木报表等工具。我们这里选择腾讯云图来实现数...
271 0 0 -
湖仓一体电商项目（八）：业务实现之编写写入ODS层业务代码
ODS层在湖仓一体架构中主要是存储原始数据，这里主要是读取Kafka “KAFKA-DB-BUSSINESS-DATA”topic中的数据实现如下两个方面功能:
260 0 0 -
湖仓一体电商项目（九）：业务实现之编写写入DIM层业务代码
编写代码读取Kafka “KAFKA-DIM-TOPIC” topic维度数据通过Phoenix写入到HBase中，我们可以通过topic中每条数据获取该条数据...
268 0 0 -
湖仓一体电商项目（十一）：编写写入DWS层业务代码
DWS层主要是存放大宽表数据，此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBa...
268 0 0 -
Impala be query plan2 - AdmissionController
AdmissionController 用于根据在一个或多个资源池中配置的可用集群资源限制请求（例如查询、DML）。请求将被允许立即执行、排队等待稍后执行或拒绝...
274 0 0
搜索内容
包含标签：数据湖计算 DLC 的文章
