第五章，Flink DataStream API本章介绍了Flink DataStream API的基本知识。我们展示了典型的Flink流处理程序的结构和组成部分，还讨论了Flink的类型系统以及支持的数据类型，还展示了数据和分区转换操作。窗口操作符，基于时间语义的转换操作，有状态的操作符，以及和外 ...

第四章，编写第一个Flink程序在IDEA中编写Flink程序本项目使用的Flink版本为最新版本，也就是1.10.0。现在提供maven项目的配置文件。 使用Intellij IDEA创建一个Maven新项目 勾选Create from archetype，然后点击Add Archetype按钮 ...

第三章，Flink运行架构系统架构Flink是一个用于有状态的并行数据流处理的分布式系统。它由多个进程构成，这些进程一般会分布运行在不同的机器上。对于分布式系统来说，面对的常见问题有：集群中资源的分配和管理、进程协调调度、持久化和高可用的数据存储，以及故障恢复。 对于这些分布式系统的经典问题，业内已 ...

第二章，流处理基础数据流编程简介在我们深入研究流处理的基础知识之前，让我们来看看在数据流程编程的背景和使用的术语。 数据流图(dataflow graph)顾名思义，数据流程序描述了数据如何在算子之间流动。数据流程序通常表示为有向图，其中节点称为算子，用来表示计算，边表示数据之间的依赖性。算子是数据 ...

第一章，有状态的流式处理简介Apache Flink是一个分布式流处理器，具有直观和富有表现力的API，可实现有状态的流处理应用程序。它以容错的方式有效地大规模运行这些应用程序。 Flink于2014年4月加入Apache软件基金会作为孵化项目，并于2015年1月成为顶级项目。从一开始，Flink就 ...

什么是BinlogMySQL的二进制日志可以说是MySQL最重要的日志了，它记录了所有的DDL和DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。 一般来说开启二进制日志大概会有1%的性能损耗 。二进制有两个最重要的使用场景: ...

kafka事务Kafka从【0.11】版本开始引入了事务支持。 事务可以保证Kafka在Exactly Once语义的基础上，生产和消费可以跨分区和会话，要么全部成功，要么全部失败。 Producer事务为了实现跨分区跨会话的事务，需要引入一个全局唯一的Transaction ID，并将Produc ...

Exactly Once语义 kafka 每个分区内的 Exactly Once 将服务器的ACK级别设置为-1，可以保证Producer到Server之间不会丢失数据，即At Least Once语义。 相对的，将服务器ACK级别设置为0，可以保证生产者每条消息只会被发送一次，即At Most ...

MySQL练习题1. 组合两个表需求：编写一个 SQL 查询，对两表进行关联，展示列为：FirstName, LastName, City, State 展示效果： FirstName LastName City State Allen Wang New York City New Yo ...

kafka 本文转载自： https://chenhefei.github.io/2020/04/01/Kafka/Kafka-learning/ kafka的定义Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 消息队列有什么好 ...