WSC Blog
首页
分类
源码分析
12
技术
39
标签
归档
传送
Github
关于
关于
更多
友链
技术
kafka 为什么性能比 RocketMQ 好
kafka为什么性能比RocketMQ好这是因为 RocketMQ使用的是mmap零拷贝技术，而kafka使用的是sendfile。kafka以更少的拷贝次数以及系统内核切换次数，获得了更高的性能。 为什么RocketM...
转载
面试
技术
2周前
Flink指标收集架构优化
引言ApacheFlink是一个功能强大的开源框架，旨在处理无界及有界数据流，被广泛应用于实时数据分析领域。随着Flink应用规模的不断扩张，确保其性能表现的监控工作变得至关重要。然而，在大型Flink部署中，传统的PrometheusPu...
Flink
技术
4个月前
从零开始深入理解存储引擎
很多应用都属于数据密集型应用，而非计算密集型；对于这类应用，CPU往往不是第一限制性因素，关键在于数据量 、数据复杂度 和 数据的快速多变性；因此数据库的选型在应用系统设计中就显得比较重要。...
转载
存储引擎
LSM
技术
5个月前
Linux的used内存哪去了
前几天 纯上 同学问了一个问题：我ps aux看到的RSS内存只有不到30M，但是free看到内存却已经使用了7,8G了，已经开始swap了，请问ps aux的实际物理内存统计是不是漏了哪些内存没算？我有什么办法确定free中used的内存都去哪儿了呢？这个问题不止一个同学遇到过了...
转载
Linux
技术
6个月前
新一代垃圾回收器ZGC的探索与实践
ZGC（The Z Garbage Collector）是JDK 11中推出的一款低延迟垃圾回收器，它的设计目标包括：停顿时间不超过10ms；...
JVM
转载
技术
6个月前
ZGC关键技术分析
垃圾回收对于Javaer来说是一个绕不开的话题，工作中涉及到的调优工作也经常围绕垃圾回收器展开。面对不同的业务场景没有一个统一的垃圾回收器能保证可GC性能。因此对程序员来说不仅要会编写业务代码，同时也要卷一下JVM底层原理和调优知识...
JVM
转载
技术
6个月前
看完这篇垃圾回收，和面试官扯皮没问题了
Java相比C/C++最显著的特点便是引入了自动垃圾回收(下文统一用GC指代自动垃圾回收)，它解决了C/C++最令人头疼的...
转载
JVM
Java
技术
7个月前
SnowFlake算法
SnowFlake算法据国家大气研究中心的查尔斯·奈特称，一般的雪花大约由10^19个水分子组成。在雪花形成过程中，会形成不同的结构分支，所以说大自然中不存在两片完全一样的雪花，每一片雪花都拥有自己漂亮独特的形状。雪花算法表示生成的id如雪...
转载
分布式
技术
8个月前
Leaf——美团点评分布式ID生成系统
背景在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中，数据日渐增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息，数据库的自增ID显然不能满足需求；特别一点的...
转载
分布式
技术
8个月前
Apache Curator之分布式锁原理
本文主要讲解如下内容：为什么要使用分布式锁？分布式锁特性！分布式锁的实现方式有哪些？Curator分布式锁原理Curator分布式锁实现类...
Curator
转载
zookeeper
技术
8个月前
分布式锁的几种实现方式
目前几乎很多大型网站及应用都是分布式部署的，分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（...
转载
分布式
技术
8个月前
Curator典型应用场景之-Master选举
分布式锁和Master选举相似点分布式锁和Master选举有几种相似点，实际上其实现机制也相近：同一时刻只有一个获取锁/只能有一个leader对于分布式排他锁来说，任意时刻，只能有一个进程(对于单进程内的锁是单线程)可以获得锁。对于领导选举...
zookeeper
转载
技术
8个月前
MySQL隔离级别读未提交(Read uncommitted)的妙用
看到一个MySQL面试题，关于隔离级别，读未提交(Readuncommitted)的一个使用场景。原始问题如下：业务通过一个大事务在插入一批非常大的数据，这个事务已经执行了很长时间，没有提交，如何知道当前已经插入了多少条数据？估计很少有人会...
转载
MySQL
技术
8个月前
MySQL 8.0 Online DDL 在线表变更
MySQLInnoDBOnlineDDL提供了在线表变更的能力，在进行DDL操作的同时，不影响或者尽可能小的影响DML操作，相比于传统的表变更锁表，不允许写入，OnlineDDL最大程度地减少了对业务的影响。该功能在5.6版本引入，在5.7...
MySQL
转载
技术
8个月前
MySQL 服务器状态变量角度看max、min优化
服务器状态变量角度看max、min优化...
转载
MySQL
技术
9个月前
Dubbo 集群容错
1.简介为了避免单点故障，现在的应用通常至少会部署在两台服务器上。对于一些负载比较高的服务，...
Dubbo
转载
技术
10个月前
Dubbo 服务调用过程
1.简介在前面的文章中，我们分析了DubboSPI、服务导出与引入、以及集群容错方面的代码。经过前文的铺垫，本篇文章我们终于可以分析服务调用过程了。Dubbo服务调用过程比较复杂，包含众多步骤，比如发送请求、编解码、服务降级、过滤器链处理、...
Dubbo
转载
技术
10个月前
如何收集 Yarn/K8s 集群中的 Flink 任务日志？
从一个小需求（任务异常或者失败时排查问题不便）出发，开始调研业界常见的解决方案进行解决我们的需求，接着有对应的代码实现和效果展示。背景不...
Flink
转载
技术
11个月前
详解 Flink 容器化环境下的 OOM Killed
在生产环境中，Flink 通常会部署在 YARN 或 k8s 等资源管理系统之上，进程会以容器化（YARN 容器或 docker 等容器）的方式运行，其资源会受到资源管理系统的严格限制...
Flink
转载
技术
11个月前
关于Spark缓存了执行计划引起的数据不准确的问题
最近有一套大数据架构，中间的一个数据流是：Flink通过CDC实时的把数据写入对象存储，采用的是hudiconnector...
转载
Spark
技术
11个月前
Trilium博客主题：Ankia 使用指南v1.4
Ankia使用指南v1.4-东东的小黑盒 前言由我制作的博客主题正式发布了，我决定将其命名为：Ankia。Ankia可能是第一个基于trilium笔记分享功能制...
转载
Trilium
技术
12个月前
硬核干货：4W字从源码上分析JUC线程池THREADPOOLEXECUTOR的实现原理
很早之前就打算看一次JUC线程池ThreadPoolExecutor的源码实现，由于近段时间比较忙，一直没有时间整理出源码分析的文章...
线程池
转载
Java
技术
12个月前
一文聊透 DUBBO 优雅停机
一年之前，我曾经写过一篇《研究优雅停机时的一点思考》，主要介绍了kill-9，kil...
Java
转载
Dubbo
技术
12个月前
FLINK 原理与实现：AYSNC I/O
背景AsyncI/O是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。主要目...
转载
Flink
技术
12个月前
FLINK 原理与实现：TABLE & SQL API
Flink已经拥有了强大的DataStream/DataSetAPI，...
转载
Flink
技术
12个月前
FLINK 原理与实现：SESSION WINDOW
在WINDOW机制中，我们介绍了窗口的概念和底层实现，以及Flink一些内建...
Flink
转载
技术
12个月前
FLINK 原理与实现：WINDOW 机制
Flink认为Batch是Streaming的一个特例，所以Flink底...
Flink
转载
技术
12个月前
FLINK 原理与实现：数据流上的类型和操作
Flink为流处理和批处理分别提供了D...
Flink
转载
技术
12个月前
FLINK 原理与实现：如何生成 JOBGRAPH
继前文Flink 原理与实现：架构和拓扑概览中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何将 StreamGraph 转换成 JobGraph 的。根据用户用Stream API编写的程序，构造出一个代表拓扑结构的StreamGraph的...
转载
Flink
技术
12个月前
FLINK 原理与实现：理解 FLINK 中的计算资源
本文所讨论的计算资源是指用来执行 Task 的资源，是一个逻辑概念。本文会介绍 Flink 计算资源相关的一些核心概念..
Flink
转载
技术
12个月前
FLINK 原理与实现：架构和拓扑概览
要了解一个系统，一般都是从架构开始。我们关心的问题是：系统部署成功后各个节点都启动了哪些服务，各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。...
转载
Flink
技术
12个月前
FLINK 原理与实现：内存管理
如今，大数据领域的开源框架（Hadoop，Spark，Storm）都使用的 JVM，当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中，这就不得不面对 JVM 存在的几个问题...
转载
Flink
技术
12个月前
FLINK 原理与实现：如何处理反压问题
流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如...
转载
Flink
技术
12个月前
如何正确地写出单例模式
单例模式算是设计模式中最容易理解，也是最容易手写代码的模式了吧。但是其中的坑却不少，所以也常作为面试题来考。本文主要对几种单例写法的整理，并分析其优缺点。很多都是一些老生常谈的问题，但如果你不知道如何创建一个线程安全的单例，不知道什么是双检锁，那这篇文章可能会帮助到你..
设计模式
Java
转载
技术
12个月前
分布式存储系统 知识体系
最近看完了杨传辉老师写的《大规模分布式存储系统》一书，发现里面很多知识点和之前看的《大型网站系统与Java中间件》有很多相通之处，也渐渐加深了我对分布式技术的兴趣。但无奈分布式涵盖范围太广了..
大数据
转载
技术
12个月前
全排列和全组合实现
记得@老赵之前在微博上吐槽说，“有的人真是毫无长进，六年前某同事不会写程序输出全排列，昨天发邮件还是问我该怎么写，这时间浪费到我都看不下去了。” 那时候就很好奇全排列到底是什么东西，到底有多难？...
转载
算法
面试
技术
12个月前
面试精选：链表问题集锦
链表问题在面试过程中也是很重要也很基础的一部分，链表本身很灵活，很考查编程功底，所以是很值得考的地方。我将复习过程中觉得比较好的链表问题整理了下。...
面试
转载
算法
技术
12个月前
经典排序算法总结与实现
经典排序算法在面试中占有很大的比重，也是基础，为了未雨绸缪，在寒假里整理并用Python实现了七大经典排序算法，包括冒泡排序，插入排序，选择排序，希尔排序，归并排序，快速排序...
算法
转载
技术
12个月前
FLINK : SAVEPOINT和CHECKPOINT 的3个不同点
在本文中，我们将阐述 Savepoint 和 Checkpoint 是什么，它们主要用在什么时候，以及对比它们的主要区别...
转载
Flink
技术
12个月前
说说
3周前
尝试参与开源贡献
2个月前
雪花算法使用不当造成ID重复
5个月前
优化文章取消发布后,未取消分享问题
5个月前
开始Flink源码学习
10个月前
将博客迁移至云服务器
推荐阅读
🔥
Flink V1.20源码阅读笔记（1）- StreamGraph 的生成
🔥
Flink V1.20源码阅读笔记（2）- JobGraph 的生成
🔥
Flink V1.20源码阅读笔记（3）- ExecutionGraph 的生成
🔥
Flink V1.20源码阅读笔记（4）- RPC通信
🔥
Flink V1.20源码阅读笔记（5）- 集群启动流程之HA
阿财
漫漫优化路，总会错几步！
GitHub
邮件
公告
本网站转载的文章、图片、音视频等资料，均来源于互联网和媒体，转载目的在于个人记录。如涉及作品内容、版权和其它问题，请在30日内与本网站联系，我们将在第一时间删除内容！
最新评论
加载中...
