-
Flink集成iceberg在生产环境中的实践
目前我们的大数据系统里，主要承接的业务是部门内的一些业务日志数据的统计、分析等，比如网关日志数据，服务器监控数据，k8s容器的相关日志数据，app的打点日志等。...
大数据技术与应用实战 2023-01-02
292 0 0 -
数据湖（四）：Hudi与Spark整合
默认Spark操作Hudi使用表类型为Copy On Write模式。Hudi与Spark整合时有很多参数配置，可以参照https://hudi.apache....
274 0 0 -
GooseFS 在云端数据湖存储上的降本增效实践
GooseFS 是腾讯云对象存储团队面向下一代云原生数据湖场景推出的存储加速利器，提供与 HDFS 对标的 Hadoop Compatible FileSyst...
280 0 0 -
数据湖（十一）：Iceberg表数据组织与查询
由于后期需要查看avro文件内容，我们可以通过avro-tool.jar来查看avro数据内容。可以在以下网站中下载avro-tools对应的jar包，下载之后...
269 0 0 -
数据湖（十二）：Spark3.1.2与Iceberg0.12.1整合
Spark可以操作Iceberg数据湖，这里使用的Iceberg的版本为0.12.1，此版本与Spark2.4版本之上兼容。由于在Spark2.4版本中在操作I...
280 0 0 -
数据湖（二十）：Flink兼容Iceberg目前不足和Iceberg与Hudi对比
Iceberg和Hudi都是数据湖技术，从社区活跃度上来看，Iceberg有超越Hudi的趋势。他们有以下共同点：
275 0 0 -
大数据架构系列：如何理解湖仓一体
这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前449...
287 0 0 -
湖仓一体电商项目（六）：大屏可视化工具腾讯云图
大屏可视化工具有很多，例如：腾讯云图，帆软Finebi,阿里DataV,百度Sugar,思迈特SmartBi,免费的积木报表等工具。我们这里选择腾讯云图来实现数...
279 0 0 -
湖仓一体电商项目（八）：业务实现之编写写入ODS层业务代码
ODS层在湖仓一体架构中主要是存储原始数据，这里主要是读取Kafka “KAFKA-DB-BUSSINESS-DATA”topic中的数据实现如下两个方面功能:
267 0 0 -
湖仓一体电商项目（九）：业务实现之编写写入DIM层业务代码
编写代码读取Kafka “KAFKA-DIM-TOPIC” topic维度数据通过Phoenix写入到HBase中，我们可以通过topic中每条数据获取该条数据...
277 0 0
搜索内容
包含标签：数据湖 的文章
