WSC Blog
首页
分类
源码分析
12
技术
39
标签
归档
传送
Github
关于
关于
更多
友链
Flink
Flink V1.20源码阅读笔记(5.7)- Flink Task启动过程解析
本篇继续解析Task构造函数内部的构造事宜,继而解析StreamTask启动过程。 核心对象说明ResultPartitionWriter:ResultPartitionWriter面向的是Buffer,在数据传输层次中处于最低层...
Flink
源码分析
1个月前
Flink V1.20源码阅读笔记(5.6)- Flink Task部署过程解析
分配资源和注册生产分区在上一篇中着重解析了allocateSlotsFor(...)方法触发TaskManager启动的过程,本篇继续解析waitForAllSlotsAndDeploy(...)方法触发Task部署的过程。在waitFor...
Flink
源码分析
1个月前
Flink V1.20源码阅读笔记(5.5)-Flink On Yarn ExecutionGraph调度解析及TaskManager启动过程解析
ExecutionGraph调度解析本节详细解析ExecutionGraph的调度过程。由上篇可知,在JobMaster启动时会触发ExecutionGraph的调度过程,调度入口即JobMaster.startScheduling()方法...
Flink
源码分析
2个月前
Flink V1.20源码阅读笔记(5.4)-Flink On Yarn JobManager启动过程Dispatcher启动解析
JobManager启动过程Dispatcher启动解析本篇介绍核心组件Dispatcher的启动过程。(1)、dispatcherRunnerFactory类型为DefaultDispatcherRunnerFactory,在调用crea...
Flink
源码分析
2个月前
Flink V1.20源码阅读笔记(5.3)-Flink On Yarn JobManager启动过程ResourceManager启动解析
JobManager启动过程ResourceManager启动解析根据类继承信息可知ResourceManagerServiceImpl是一个Leader选举候选者。publicclassResourceManagerServiceImpl...
Flink
源码分析
2个月前
Flink V1.20源码阅读笔记(5.2)- 集群启动流程之WebmonitorEndpoint启动解析
JobManager三大组件功能简介JobManager是Flink系统master节点的逻辑称呼,不同的部署模式有不同的实现类,对于FlinkOnYarn下Application模式,其实现类是YarnApplicationCluster...
Flink
源码分析
3个月前
Flink V1.20源码阅读笔记(5.1)- 集群启动流程之客户端作业提交过程
FlinkOnYarn三种客户端作业提交模式方式一、Per-Job模式已处于Deprecated状态,后续不推荐使用。作业提交命令行方式:./bin/flinkrun-tyarn-per-job-d-ynm FlinkAppNam...
Flink
源码分析
3个月前
Flink V1.20源码阅读笔记(5)- 集群启动流程之HA
在这篇文章中,我们将对 Flink HA加以分析...
Flink
源码分析
3个月前
Flink V1.20源码阅读笔记(4)- RPC通信
作为一个分布式系统,Flink内部不同组件之间通信依赖于RPC机制。这篇文章将对Flink的RPC框架加以分析。 主要抽象RpcEndpoint是对RPC框架中提供具体服务的实体的抽象,所有提供远程调用方法的组件都需要继承该抽象类...
Flink
源码分析
4个月前
Flink V1.20源码阅读笔记(3)- ExecutionGraph 的生成
我们前面已经分析过StreamGraph,JobGraph的生成过程,这两个执行图都是在client端生成的。接下来我们将把目光头投向FlinkJob运行时调度层核心的执行图-ExecutionGraph。以此段代码为例,env.fromD...
Flink
源码分析
4个月前
Flink指标收集架构优化
引言ApacheFlink是一个功能强大的开源框架,旨在处理无界及有界数据流,被广泛应用于实时数据分析领域。随着Flink应用规模的不断扩张,确保其性能表现的监控工作变得至关重要。然而,在大型Flink部署中,传统的PrometheusPu...
Flink
技术
4个月前
Flink V1.20源码阅读笔记(2)- JobGraph 的生成
前面的文章我们介绍了StreamGraph的生成,这个实际上只对应Flink作业在逻辑上的执行计划图。Flink会进一步对StreamGraph进行转换,得到另一个执行计划图,即JobGraph。以此段代码为例,env.fromData(1...
Flink
源码分析
5个月前
Flink V1.20源码阅读笔记(1)- StreamGraph 的生成
在编写Flink的程序的时候,核心的要点是构造出数据处理的拓扑结构,即任务执行逻辑的DAG。我们先来看一下Flink任务的拓扑在逻辑上是怎么保存的。StreamGraph相关的代码主要在 org.apache.flink.stre...
Flink
源码分析
5个月前
如何收集 Yarn/K8s 集群中的 Flink 任务日志?
从一个小需求(任务异常或者失败时排查问题不便)出发,开始调研业界常见的解决方案进行解决我们的需求,接着有对应的代码实现和效果展示。背景不...
Flink
转载
技术
11个月前
详解 Flink 容器化环境下的 OOM Killed
在生产环境中,Flink 通常会部署在 YARN 或 k8s 等资源管理系统之上,进程会以容器化(YARN 容器或 docker 等容器)的方式运行,其资源会受到资源管理系统的严格限制...
Flink
转载
技术
11个月前
FLINK 原理与实现:AYSNC I/O
背景AsyncI/O是阿里巴巴贡献给社区的一个呼声非常高的特性,于1.2版本引入。主要目...
转载
Flink
技术
12个月前
FLINK 原理与实现:TABLE & SQL API
Flink已经拥有了强大的DataStream/DataSetAPI,...
转载
Flink
技术
12个月前
FLINK 原理与实现:SESSION WINDOW
在WINDOW机制中,我们介绍了窗口的概念和底层实现,以及Flink一些内建...
Flink
转载
技术
12个月前
FLINK 原理与实现:WINDOW 机制
Flink认为Batch是Streaming的一个特例,所以Flink底...
Flink
转载
技术
12个月前
FLINK 原理与实现:数据流上的类型和操作
Flink为流处理和批处理分别提供了D...
Flink
转载
技术
12个月前
FLINK 原理与实现:如何生成 JOBGRAPH
继前文Flink 原理与实现:架构和拓扑概览中介绍了Flink的四层执行图模型,本文将主要介绍 Flink 是如何将 StreamGraph 转换成 JobGraph 的。根据用户用Stream API编写的程序,构造出一个代表拓扑结构的StreamGraph的...
转载
Flink
技术
12个月前
FLINK 原理与实现:理解 FLINK 中的计算资源
本文所讨论的计算资源是指用来执行 Task 的资源,是一个逻辑概念。本文会介绍 Flink 计算资源相关的一些核心概念..
Flink
转载
技术
12个月前
FLINK 原理与实现:架构和拓扑概览
要了解一个系统,一般都是从架构开始。我们关心的问题是:系统部署成功后各个节点都启动了哪些服务,各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。...
转载
Flink
技术
12个月前
FLINK 原理与实现:内存管理
如今,大数据领域的开源框架(Hadoop,Spark,Storm)都使用的 JVM,当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中,这就不得不面对 JVM 存在的几个问题...
转载
Flink
技术
12个月前
FLINK 原理与实现:如何处理反压问题
流处理系统需要能优雅地处理反压(backpressure)问题。反压通常产生于这样的场景:短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压,例如...
转载
Flink
技术
12个月前
FLINK : SAVEPOINT和CHECKPOINT 的3个不同点
在本文中,我们将阐述 Savepoint 和 Checkpoint 是什么,它们主要用在什么时候,以及对比它们的主要区别...
转载
Flink
技术
12个月前
说说
3周前
尝试参与开源贡献
2个月前
雪花算法使用不当造成ID重复
5个月前
优化文章取消发布后,未取消分享问题
5个月前
开始Flink源码学习
10个月前
将博客迁移至云服务器
推荐阅读
🔥
Flink V1.20源码阅读笔记(1)- StreamGraph 的生成
🔥
Flink V1.20源码阅读笔记(2)- JobGraph 的生成
🔥
Flink V1.20源码阅读笔记(3)- ExecutionGraph 的生成
🔥
Flink V1.20源码阅读笔记(4)- RPC通信
🔥
Flink V1.20源码阅读笔记(5)- 集群启动流程之HA
阿财
漫漫优化路,总会错几步!
GitHub
邮件
公告
本网站转载的文章、图片、音视频等资料,均来源于互联网和媒体,转载目的在于个人记录。如涉及作品内容、版权和其它问题,请在30日内与本网站联系,我们将在第一时间删除内容!
最新评论
加载中...