-
Hiveserver2 性能优化与GC优化
最近发现hiveserver2（本质上是提供jdbc连接的driver进程）经常发生严重卡死故障，而且卡死分成两种现象。
mikealzhou 2023-01-03
275 0 0 -
HDFS 线程参数DataXceiver 引发的故障
腾讯云大数据团队服务的某个大客户，hadoop集群超过300台服务器。因为大数据平台承载的业务程序非常多（每天超过5万次任务运行在yarn）、datanode的...
296 0 0 -
基于OGG和Sqoop的TBDS接入方案系列-Sqoop与腾讯大数据套件TBDS的集成示例介绍
Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段，此案例介绍了一个利用Sqoop将数据从Oracle离线导入到腾讯大数据套件...
300 0 0 -
基于OGG和Sqoop的TBDS接入方案系列-总体方案
腾讯大数据处理套件（Tencent Big Data Suite，以下简称TBDS）是一套针对私有化场景提供的全功能型大数据处理平台。为客户提供按需部署大数据处...
288 0 0 -
听说数据分析师挺火，我们来数据分析一下
经常看见各种数据分析师培训的运营推荐，那么数据分析师的就业行情究竟如何？让我们用数据说话，一探究竟！
277 0 0 -
Flink源码分析之深度解读流式数据写入hive
前段时间我们讲解了flink1.11中如何将流式数据写入文件系统和hive [flink 1.11 使用sql将流式数据写入hive]，今天我们来从源码的角度深...
285 0 0 -
基于Flink的实时数据接入实践
一、TDBank接入hive数据的痛点和挑战 数据接入到Hive是TDW数据接入中应用最广泛的场景，整体的数据流向路径如下所示： 图1 数据接入到TDW Hi...
281 0 0 -
Flink集成iceberg在生产环境中的实践
目前我们的大数据系统里，主要承接的业务是部门内的一些业务日志数据的统计、分析等，比如网关日志数据，服务器监控数据，k8s容器的相关日志数据，app的打点日志等。...
285 0 0 -
Hive全库数据迁移方案
考虑到多数场景是迁移整个Hive数据库，该篇文章只介绍迁移的第二种，即元数据及Hive数据全量迁移。
270 0 0 -
Alluxio集群搭建并整合MapReduce/Hive/Spark
Alluxio是世界上第一个虚拟的分布式存储系统，以内存速度统一了数据访问。它为计算框架和存储系统构建了桥梁，使应用程序能够通过一个公共接口连接到许多存储系统。...
265 0 0
搜索内容
包含标签：Hive 的文章
