WSC Blog
首页
分类
源码分析
12
技术
39
标签
归档
传送
Github
关于
关于
更多
友链
首页
kafka 为什么性能比 RocketMQ 好
kafka为什么性能比RocketMQ好这是因为 RocketMQ使用的是mmap零拷贝技术,而kafka使用的是sendfile。kafka以更少的拷贝次数以及系统内核切换次数,获得了更高的性能。 为什么RocketM...
转载
面试
技术
2周前
Flink V1.20源码阅读笔记(5.7)- Flink Task启动过程解析
本篇继续解析Task构造函数内部的构造事宜,继而解析StreamTask启动过程。 核心对象说明ResultPartitionWriter:ResultPartitionWriter面向的是Buffer,在数据传输层次中处于最低层...
Flink
源码分析
1个月前
Flink V1.20源码阅读笔记(5.6)- Flink Task部署过程解析
分配资源和注册生产分区在上一篇中着重解析了allocateSlotsFor(...)方法触发TaskManager启动的过程,本篇继续解析waitForAllSlotsAndDeploy(...)方法触发Task部署的过程。在waitFor...
Flink
源码分析
1个月前
Flink V1.20源码阅读笔记(5.5)-Flink On Yarn ExecutionGraph调度解析及TaskManager启动过程解析
ExecutionGraph调度解析本节详细解析ExecutionGraph的调度过程。由上篇可知,在JobMaster启动时会触发ExecutionGraph的调度过程,调度入口即JobMaster.startScheduling()方法...
Flink
源码分析
2个月前
Flink V1.20源码阅读笔记(5.4)-Flink On Yarn JobManager启动过程Dispatcher启动解析
JobManager启动过程Dispatcher启动解析本篇介绍核心组件Dispatcher的启动过程。(1)、dispatcherRunnerFactory类型为DefaultDispatcherRunnerFactory,在调用crea...
Flink
源码分析
2个月前
Flink V1.20源码阅读笔记(5.3)-Flink On Yarn JobManager启动过程ResourceManager启动解析
JobManager启动过程ResourceManager启动解析根据类继承信息可知ResourceManagerServiceImpl是一个Leader选举候选者。publicclassResourceManagerServiceImpl...
Flink
源码分析
2个月前
Flink V1.20源码阅读笔记(5.2)- 集群启动流程之WebmonitorEndpoint启动解析
JobManager三大组件功能简介JobManager是Flink系统master节点的逻辑称呼,不同的部署模式有不同的实现类,对于FlinkOnYarn下Application模式,其实现类是YarnApplicationCluster...
Flink
源码分析
3个月前
Flink V1.20源码阅读笔记(5.1)- 集群启动流程之客户端作业提交过程
FlinkOnYarn三种客户端作业提交模式方式一、Per-Job模式已处于Deprecated状态,后续不推荐使用。作业提交命令行方式:./bin/flinkrun-tyarn-per-job-d-ynm FlinkAppNam...
Flink
源码分析
3个月前
Flink V1.20源码阅读笔记(5)- 集群启动流程之HA
在这篇文章中,我们将对 Flink HA加以分析...
Flink
源码分析
3个月前
Flink V1.20源码阅读笔记(4)- RPC通信
作为一个分布式系统,Flink内部不同组件之间通信依赖于RPC机制。这篇文章将对Flink的RPC框架加以分析。 主要抽象RpcEndpoint是对RPC框架中提供具体服务的实体的抽象,所有提供远程调用方法的组件都需要继承该抽象类...
Flink
源码分析
4个月前
Flink V1.20源码阅读笔记(3)- ExecutionGraph 的生成
我们前面已经分析过StreamGraph,JobGraph的生成过程,这两个执行图都是在client端生成的。接下来我们将把目光头投向FlinkJob运行时调度层核心的执行图-ExecutionGraph。以此段代码为例,env.fromD...
Flink
源码分析
4个月前
Flink指标收集架构优化
引言ApacheFlink是一个功能强大的开源框架,旨在处理无界及有界数据流,被广泛应用于实时数据分析领域。随着Flink应用规模的不断扩张,确保其性能表现的监控工作变得至关重要。然而,在大型Flink部署中,传统的PrometheusPu...
Flink
技术
4个月前
Flink V1.20源码阅读笔记(2)- JobGraph 的生成
前面的文章我们介绍了StreamGraph的生成,这个实际上只对应Flink作业在逻辑上的执行计划图。Flink会进一步对StreamGraph进行转换,得到另一个执行计划图,即JobGraph。以此段代码为例,env.fromData(1...
Flink
源码分析
5个月前
Flink V1.20源码阅读笔记(1)- StreamGraph 的生成
在编写Flink的程序的时候,核心的要点是构造出数据处理的拓扑结构,即任务执行逻辑的DAG。我们先来看一下Flink任务的拓扑在逻辑上是怎么保存的。StreamGraph相关的代码主要在 org.apache.flink.stre...
Flink
源码分析
5个月前
从零开始深入理解存储引擎
很多应用都属于数据密集型应用,而非计算密集型;对于这类应用,CPU往往不是第一限制性因素,关键在于数据量 、数据复杂度 和 数据的快速多变性;因此数据库的选型在应用系统设计中就显得比较重要。...
转载
存储引擎
LSM
技术
5个月前
= 更多内容请前往 
归档
 =
说说
3周前
尝试参与开源贡献
2个月前
雪花算法使用不当造成ID重复
5个月前
优化文章取消发布后,未取消分享问题
5个月前
开始Flink源码学习
10个月前
将博客迁移至云服务器
推荐阅读
🔥
Flink V1.20源码阅读笔记(1)- StreamGraph 的生成
🔥
Flink V1.20源码阅读笔记(2)- JobGraph 的生成
🔥
Flink V1.20源码阅读笔记(3)- ExecutionGraph 的生成
🔥
Flink V1.20源码阅读笔记(4)- RPC通信
🔥
Flink V1.20源码阅读笔记(5)- 集群启动流程之HA
阿财
漫漫优化路,总会错几步!
GitHub
邮件
公告
本网站转载的文章、图片、音视频等资料,均来源于互联网和媒体,转载目的在于个人记录。如涉及作品内容、版权和其它问题,请在30日内与本网站联系,我们将在第一时间删除内容!
最新评论
加载中...