今天这个故事，关于人是如何废掉的。 1995年，美国旧金山举行过一个全球精英会议。500名政经精英在会上，为全球化的世界进行分析与规划。 大家一致认为： 1，八二定律真切地存在。 2，竞争会越来越激烈，而80%的人，将越来越贫穷，地位越来越下降，淘汰率也越来越高。 可是问题来了，这80%的loser ...

Table API 和 Flink SQL整体介绍什么是 Table API 和 Flink SQLFlink本身是批流统一的处理框架，所以Table API和SQL，就是批流统一的上层处理API。目前功能尚未完善，处于活跃的开发阶段。 Table API是一套内嵌在Java和Scala语言中的查询 ...

Flink CEP简介什么是复杂事件CEP？ 一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据，满足规则的复杂事件。 特征： 目标：从有序的简单事件流中发现一些高阶特征 输入：一个或多个由简单事件构成的事件流 处理：识别简单事件之间的内在联系，多个符合一定规则的简单事件 ...

第九章，搭建Flink运行流式应用部署方式standalone集群standalone集群包含至少一个master进程，以及至少一个TaskManager进程，TaskManager进程运行在一台或者多台机器上。所有的进程都是JVM进程。下图展示了standalone集群的部署。 master进程 ...

第八章，读写外部系统数据可以存储在不同的系统中，例如：文件系统，对象存储系统（OSS），关系型数据库，Key-Value存储，搜索引擎索引，日志系统，消息队列，等等。每一种系统都是给特定的应用场景设计的，在某一个特定的目标上超越了其他系统。今天的数据架构，往往包含着很多不同的存储系统。在将一个组件加 ...

第七章，有状态算子和应用状态操作符和用户自定义函数都是我们在写流处理程序时，常用的工具。事实上，大部分稍微复杂一点的逻辑都需要保存数据或者保存计算结果。很多Flink内置的操作符例如：source操作符，sink操作符等等都是有状态的，也就是说会缓存流数据或者计算结果。例如，窗口操作符将会为Proc ...

第六章，基于时间和窗口的操作符在本章，我们将要学习DataStream API中处理时间和基于时间的操作符，例如窗口操作符。 首先，我们会学习如何定义时间属性，时间戳和水位线。然后我们将会学习底层操作process function，它可以让我们访问时间戳和水位线，以及注册定时器事件。接下来，我们将 ...

tailDir Source优点1）断点续传 2）同时监控多目录 存在的问题1）说明：使用正则表达式监控文件名时，当修改文件名称之后，会重复读取数据。 2）示例： 配置信息 test.conf Code12345678910111213141516171819202122# Name the com ...

HDFS Sink存在的问题hdfs.useLocalTimeStamp设置为true，也会在Event头信息中添加”timestamp”的key 我们一般设置为false，因为我们目前使用的是KafkaSource，会根据当前系统时间添加该头信息。 说明：HDFS Sink要想根据时间滚动文件 ...

OLAP和OLTP的区别OLAP（On-Line Analytical Processing）联机分析处理，也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。应用在数据仓库，使用对象是决策者。OLAP ...