WSC Blog
首页
分类
源码分析
17
技术
44
标签
归档
传送
Github
关于
关于
更多
友链
治理
小文件治理
随着大数据时代的到来,数据量不断增长,HDFS也成为了数据存储和处理的重要组成部分。然而,由于HDFS的设计原理和文件存储方式,HDFS系统中存在大量的小文件,这些小文件会导致HDFS的性能下降,增加管理和维护的难度,严重影响数据处理效...
Spark
治理
HDFS
技术
昨天
Flink 资源治理
在当今数据驱动的时代,如何高效且稳定地处理持续增长的数据流成为技术领域的一大挑战。ApacheFlink凭借其卓越的流处理能力,特别是针对长时间运行任务设计的精细内存管理和状态处理机制,在应对这一挑战中提供了强有力的支持。然而,不当的配置可...
Flink
治理
技术
1周前
Spark资源治理
近年来Spark已经成为离线大数据处理引擎的事实标准,广泛用于数据仓库、数据湖、机器学习等领域。随着业务的快速发展,用户对计算资源的需求越来越大,除了增加物理资源之外,如何提高线上Spark作业的资源使用效率也是我们需解决的问题。 ...
Spark
治理
技术
2周前
说说
3个月前
尝试参与开源贡献
4个月前
雪花算法使用不当造成ID重复
7个月前
优化文章取消发布后,未取消分享问题
8个月前
开始Flink源码学习
1年前
将博客迁移至云服务器
推荐阅读
🔥
Flink V1.20源码阅读笔记(1)- StreamGraph 的生成
🔥
Flink V1.20源码阅读笔记(2)- JobGraph 的生成
🔥
Flink V1.20源码阅读笔记(3)- ExecutionGraph 的生成
🔥
Flink V1.20源码阅读笔记(4)- RPC通信
🔥
Flink V1.20源码阅读笔记(5)- 集群启动流程之HA
阿财
漫漫优化路,总会错几步!
GitHub
邮件
公告
本网站转载的文章、图片、音视频等资料,均来源于互联网和媒体,转载目的在于个人记录。如涉及作品内容、版权和其它问题,请在30日内与本网站联系,我们将在第一时间删除内容!
最新评论
加载中...