WSC Blog
首页
分类
源码分析
17
技术
43
标签
归档
传送
Github
关于
关于
更多
友链
首页
MySQL踩坑日记 - allowLoadLocalInfile
在一个夜黑风高的夜晚,我突然收到了公司安全部门的通知:平台中的某个功能模块在近期的攻防演练中被发现存在漏洞,并已被成功利用。经过初步分析,问题出现在元数据管理模块。该模块允许用户通过指定JDBCURL连接到对应的服务端,从而获取数据库库/表...
MySQL
踩坑
漏洞
技术
4天前
MySQL踩坑日记 - explicit_defaults_for_timestamp
某个惬意的下午,突然接到用户反馈:在平台使用过程中,修改了一些描述信息后,数据的创建时间竟然发生了变化。这种情况显然不符合预期,于是我们迅速展开了问题排查。 问题定位接到反馈后,第一反应是怀疑前端同事可能误用了“修改时间”字段...
MySQL
踩坑
技术
5天前
Flink 资源治理
在当今数据驱动的时代,如何高效且稳定地处理持续增长的数据流成为技术领域的一大挑战。ApacheFlink凭借其卓越的流处理能力,特别是针对长时间运行任务设计的精细内存管理和状态处理机制,在应对这一挑战中提供了强有力的支持。然而,不当的配置可...
Flink
治理
技术
6天前
Spark资源治理
近年来Spark已经成为离线大数据处理引擎的事实标准,广泛用于数据仓库、数据湖、机器学习等领域。随着业务的快速发展,用户对计算资源的需求越来越大,除了增加物理资源之外,如何提高线上Spark作业的资源使用效率也是我们需解决的问题。 ...
Spark
治理
技术
1周前
Flink V1.20源码阅读笔记(5.9)- Flink Task读数据过程解析
上一篇解析到FlinkTask写数据过程,数据最终被写入ResultPartition结果分区模型中。每个ResultPartition实例都包含一到多个ResultSubPartition结果子分区,经过RecordWriter分区器分配...
Flink
源码分析
2周前
SnowFlake算法生成ID偶数问题
原因:项目中并发低,未达到使用序列号场景,序列号为0导致ID偶数现象解决方案hutool高版本中,引入了randomSequenceLimit参数,此属性用于限定一个随机上限,在不同毫秒下生成序号时,给...
分布式
源码分析
1个月前
JDK 8 下ConcurrentHashMap 存在的一些问题
使用不当造成死循环问题computeIfAbsent方法当使用不当时,可能出现死循环 最小复现过程publicstaticvoidmain(String[]v)throwsInterruptedException{Concurre...
Java
源码分析
1个月前
Flink V1.20源码阅读笔记(6)- 数据分区解析
数据分区概念对分布式计算引擎来说,数据分区的主要作用是将现环节的数据进行切分,交给下游位于不同物理节点上的Task计算。 Flink数据分区接口体系1、顶层接口ChannelSelectororg.apache.flink.run...
Flink
源码分析
1个月前
Flink V1.20源码阅读笔记(5.8)- Flink Task写数据过程解析
本篇开始解析Task写数据过程。Task写数据过程中涉及到RecordWriterOutput、RecordWriter、ChannelSelector、ResultPartition、ResultSubpartition、LocalBuf...
Flink
源码分析
1个月前
kafka 为什么性能比 RocketMQ 好
kafka为什么性能比RocketMQ好这是因为 RocketMQ使用的是mmap零拷贝技术,而kafka使用的是sendfile。kafka以更少的拷贝次数以及系统内核切换次数,获得了更高的性能。 为什么RocketM...
转载
面试
技术
2个月前
Flink V1.20源码阅读笔记(5.7)- Flink Task启动过程解析
本篇继续解析Task构造函数内部的构造事宜,继而解析StreamTask启动过程。 核心对象说明ResultPartitionWriter:ResultPartitionWriter面向的是Buffer,在数据传输层次中处于最低层...
Flink
源码分析
3个月前
Flink V1.20源码阅读笔记(5.6)- Flink Task部署过程解析
分配资源和注册生产分区在上一篇中着重解析了allocateSlotsFor(...)方法触发TaskManager启动的过程,本篇继续解析waitForAllSlotsAndDeploy(...)方法触发Task部署的过程。在waitFor...
Flink
源码分析
4个月前
Flink V1.20源码阅读笔记(5.5)-Flink On Yarn ExecutionGraph调度解析及TaskManager启动过程解析
ExecutionGraph调度解析本节详细解析ExecutionGraph的调度过程。由上篇可知,在JobMaster启动时会触发ExecutionGraph的调度过程,调度入口即JobMaster.startScheduling()方法...
Flink
源码分析
4个月前
Flink V1.20源码阅读笔记(5.4)-Flink On Yarn JobManager启动过程Dispatcher启动解析
JobManager启动过程Dispatcher启动解析本篇介绍核心组件Dispatcher的启动过程。(1)、dispatcherRunnerFactory类型为DefaultDispatcherRunnerFactory,在调用crea...
Flink
源码分析
4个月前
Flink V1.20源码阅读笔记(5.3)-Flink On Yarn JobManager启动过程ResourceManager启动解析
JobManager启动过程ResourceManager启动解析根据类继承信息可知ResourceManagerServiceImpl是一个Leader选举候选者。publicclassResourceManagerServiceImpl...
Flink
源码分析
5个月前
= 更多内容请前往 
归档
 =
说说
3个月前
尝试参与开源贡献
4个月前
雪花算法使用不当造成ID重复
7个月前
优化文章取消发布后,未取消分享问题
7个月前
开始Flink源码学习
1年前
将博客迁移至云服务器
推荐阅读
🔥
Flink V1.20源码阅读笔记(1)- StreamGraph 的生成
🔥
Flink V1.20源码阅读笔记(2)- JobGraph 的生成
🔥
Flink V1.20源码阅读笔记(3)- ExecutionGraph 的生成
🔥
Flink V1.20源码阅读笔记(4)- RPC通信
🔥
Flink V1.20源码阅读笔记(5)- 集群启动流程之HA
阿财
漫漫优化路,总会错几步!
GitHub
邮件
公告
本网站转载的文章、图片、音视频等资料,均来源于互联网和媒体,转载目的在于个人记录。如涉及作品内容、版权和其它问题,请在30日内与本网站联系,我们将在第一时间删除内容!
最新评论
加载中...