源码编译通用步骤一、搭建编译环境一般编译环境为Linux + JDK + Maven，有些框架可能需要别的环境支持，一般都会注明，在后面细说。以下教程都是基于Linux + JDK8环境编译。 Linux和JDK环境这里不再赘述 MAVEN环境搭建 bash123456789101112#1. ...

关键词：CASE WHEN THEN ELSE END数据准备 name dept_id sex 悟空 A 男 大海 A 男 宋宋 B 男 凤姐 A 女 婷姐 B 女 婷婷 B 女 需求求出不同部门男女各多少人。结果如下： Code12A 2 1B ...

看到了一段非常有趣的关于spark中aggregate算子的代码，需要很细心才能给出正确答案。 在这里和大家分享。 代码示例scala12345678910111213141516import org.apache.spark.{SparkConf, SparkContext}o ...

简述JOIN函数签名 def join[W](other: RDD[(K, W)]): RDD[(K, (V, W))] 函数说明 spark RDD 转换算子 (对照函数签名)在类型为(K,V)和(K,W)的RDD上调用，返回一个相同key对应的所有元素连接在一起的(K,(V,W))的RDD ...

JSON常用方法Java中并没有内置JSON的解析，因此使用JSON需要借助第三方类库。 几个常用的 JSON 解析类库： Gson: 谷歌开发的 JSON 库，功能十分全面。 FastJson: 阿里巴巴开发的 JSON 库，性能十分优秀。 Jackson: 社区十分活跃且更新速度很快。 ma ...

简介概述 Elasticsearch，基于Lucene，隐藏复杂性，提供简单易用的RestfulAPI接口、JavaAPI接口（还有其他语言的API接口）。 Elasticsearch是一个实时分布式搜索和分析引擎。它用于全文搜索、结构化搜索、分析。 全文检索：将非结构化数据中的一部分信息提取出 ...

MyISAM与InnoDB的区别（详）1.事务 InnoDB支持事务，MyISAM不支持。 对于InnoDB每一条SQL语言都默认封装成事务，自动提交，这样会影响速度，所以最好把多条SQL语言放在begin和commit之间，组成一个事务； 所以，博客中的《 MySQL事务相关 》一文，是基于I ...

事务四大特性（ACID）1、原子性（Atomicity）： 事务开始后所有操作，要么全部做完，要么全部不做，不可能停滞在中间环节。 事务执行过程中出错，会回滚到事务开始前的状态，所有的操作就像没有发生一样。 也就是说事务是一个不可分割的整体。 的基本单位 2、一致性（Consistency）： 事 ...

一、介绍概述Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。多作为集群提供服务的中间件. Zookeeper从设计模式角度来理解，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变化，Z ...

JUnit常用注解JUnit是 Java平台最常用的测试框架 。 本文重点阐述JUnit4版本的@Before、@After、@BeforeClass、@AfterClass四个注解。 JUnit4，JUnit5注解对比 JUnit4 JUnit5 功能 @BeforeClass @Bef ...