WSC Blog
首页
分类
源码分析
17
技术
44
标签
归档
传送
Github
关于
关于
更多
友链
首页
小文件治理
随着大数据时代的到来，数据量不断增长，HDFS也成为了数据存储和处理的重要组成部分。然而，由于HDFS的设计原理和文件存储方式，HDFS系统中存在大量的小文件，这些小文件会导致HDFS的性能下降，增加管理和维护的难度，严重影响数据处理效...
Spark
治理
HDFS
技术
前天
MySQL踩坑日记 - allowLoadLocalInfile
在一个夜黑风高的夜晚，我突然收到了公司安全部门的通知：平台中的某个功能模块在近期的攻防演练中被发现存在漏洞，并已被成功利用。经过初步分析，问题出现在元数据管理模块。该模块允许用户通过指定JDBCURL连接到对应的服务端，从而获取数据库库/表...
MySQL
踩坑
漏洞
技术
6天前
MySQL踩坑日记 - explicit_defaults_for_timestamp
某个惬意的下午，突然接到用户反馈：在平台使用过程中，修改了一些描述信息后，数据的创建时间竟然发生了变化。这种情况显然不符合预期，于是我们迅速展开了问题排查。 问题定位接到反馈后，第一反应是怀疑前端同事可能误用了“修改时间”字段...
MySQL
踩坑
技术
1周前
Flink 资源治理
在当今数据驱动的时代，如何高效且稳定地处理持续增长的数据流成为技术领域的一大挑战。ApacheFlink凭借其卓越的流处理能力，特别是针对长时间运行任务设计的精细内存管理和状态处理机制，在应对这一挑战中提供了强有力的支持。然而，不当的配置可...
Flink
治理
技术
1周前
Spark资源治理
近年来Spark已经成为离线大数据处理引擎的事实标准，广泛用于数据仓库、数据湖、机器学习等领域。随着业务的快速发展，用户对计算资源的需求越来越大，除了增加物理资源之外，如何提高线上Spark作业的资源使用效率也是我们需解决的问题。 ...
Spark
治理
技术
2周前
Flink V1.20源码阅读笔记（5.9）- Flink Task读数据过程解析
上一篇解析到FlinkTask写数据过程，数据最终被写入ResultPartition结果分区模型中。每个ResultPartition实例都包含一到多个ResultSubPartition结果子分区，经过RecordWriter分区器分配...
Flink
源码分析
2周前
SnowFlake算法生成ID偶数问题
原因:项目中并发低,未达到使用序列号场景,序列号为0导致ID偶数现象解决方案hutool高版本中,引入了randomSequenceLimit参数,此属性用于限定一个随机上限，在不同毫秒下生成序号时，给...
分布式
源码分析
1个月前
JDK 8 下ConcurrentHashMap 存在的一些问题
使用不当造成死循环问题computeIfAbsent方法当使用不当时,可能出现死循环 最小复现过程publicstaticvoidmain(String[]v)throwsInterruptedException{Concurre...
Java
源码分析
1个月前
Flink V1.20源码阅读笔记（6）- 数据分区解析
数据分区概念对分布式计算引擎来说，数据分区的主要作用是将现环节的数据进行切分，交给下游位于不同物理节点上的Task计算。 Flink数据分区接口体系1、顶层接口ChannelSelectororg.apache.flink.run...
Flink
源码分析
1个月前
Flink V1.20源码阅读笔记（5.8）- Flink Task写数据过程解析
本篇开始解析Task写数据过程。Task写数据过程中涉及到RecordWriterOutput、RecordWriter、ChannelSelector、ResultPartition、ResultSubpartition、LocalBuf...
Flink
源码分析
1个月前
kafka 为什么性能比 RocketMQ 好
kafka为什么性能比RocketMQ好这是因为 RocketMQ使用的是mmap零拷贝技术，而kafka使用的是sendfile。kafka以更少的拷贝次数以及系统内核切换次数，获得了更高的性能。 为什么RocketM...
转载
面试
技术
2个月前
Flink V1.20源码阅读笔记（5.7）- Flink Task启动过程解析
本篇继续解析Task构造函数内部的构造事宜，继而解析StreamTask启动过程。 核心对象说明ResultPartitionWriter：ResultPartitionWriter面向的是Buffer，在数据传输层次中处于最低层...
Flink
源码分析
3个月前
Flink V1.20源码阅读笔记（5.6）- Flink Task部署过程解析
分配资源和注册生产分区在上一篇中着重解析了allocateSlotsFor(...)方法触发TaskManager启动的过程，本篇继续解析waitForAllSlotsAndDeploy(...)方法触发Task部署的过程。在waitFor...
Flink
源码分析
4个月前
Flink V1.20源码阅读笔记（5.5）-Flink On Yarn ExecutionGraph调度解析及TaskManager启动过程解析
ExecutionGraph调度解析本节详细解析ExecutionGraph的调度过程。由上篇可知，在JobMaster启动时会触发ExecutionGraph的调度过程，调度入口即JobMaster.startScheduling()方法...
Flink
源码分析
4个月前
Flink V1.20源码阅读笔记（5.4）-Flink On Yarn JobManager启动过程Dispatcher启动解析
JobManager启动过程Dispatcher启动解析本篇介绍核心组件Dispatcher的启动过程。(1)、dispatcherRunnerFactory类型为DefaultDispatcherRunnerFactory，在调用crea...
Flink
源码分析
4个月前
= 更多内容请前往
归档
=
说说
3个月前
尝试参与开源贡献
4个月前
雪花算法使用不当造成ID重复
7个月前
优化文章取消发布后,未取消分享问题
8个月前
开始Flink源码学习
1年前
将博客迁移至云服务器
推荐阅读
🔥
Flink V1.20源码阅读笔记（1）- StreamGraph 的生成
🔥
Flink V1.20源码阅读笔记（2）- JobGraph 的生成
🔥
Flink V1.20源码阅读笔记（3）- ExecutionGraph 的生成
🔥
Flink V1.20源码阅读笔记（4）- RPC通信
🔥
Flink V1.20源码阅读笔记（5）- 集群启动流程之HA
阿财
漫漫优化路，总会错几步！
GitHub
邮件
公告
本网站转载的文章、图片、音视频等资料，均来源于互联网和媒体，转载目的在于个人记录。如涉及作品内容、版权和其它问题，请在30日内与本网站联系，我们将在第一时间删除内容！
最新评论
加载中...
