flinkgo语言,flink基本概念

flink 使用什么语言开发的

　方法：

成都创新互联-专业网站定制、快速模板网站建设、高性价比三沙网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式三沙网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖三沙地区。费用合理售后完善，10年实体公司更值得信赖。

1:Redhat系统或者Fedora或者CentOs的Linux发行版,那么在Linux终端输入命令回车:

su - root

这样就可以切换到root权限了

2:Ubuntu系统,在Linux终端输入命令回车:

sudo su - root

然后这样也可以切换到root权限了.

大数据和编程，有什么关系？

Java是一门编程语言，实现同一个需求有上百种编程语言可以完成，Java之于大数据，就是一种工具罢了。

大数据就是一个行业，实现同一个需求同样有多种工具可以选择，狭义一点以技术的角度讲，各类框架有Hadoop，spark，storm，flink等，就这类技术生态圈来讲，还有各种中间件如flume，kafka，sqoop等等 ，这些框架以及工具大多数是用Java编写而成，但提供诸如Java，scala，Python，R等各种语言API供编程。

所以，大数据的实习需要用到Java，但是Java并不是大数据。

大数据和Java有什么关系呀？

1. 大数据组件使用Java开发，不用自己管理垃圾回收

目前有很多大数据开源项目都是使用Java来开发，比如Hadoop、Hive、Flink、HBase等等，使用Java开发有一个好处就是不用自己去管理程序对象的内存释放，极大的提升项目的快速开发性。

在C++语言中，每当你创建了一个对象指针，你都需要在项目结束或者程序退出的时候，自己去一个一个的释放你创建的指针，稍微有点不注意，可能就会造成泄漏。对于成千上万行代码，有时候程序员因为粗心，很容易就会忘记释放指针，结果就会导致内存泄漏。

而在Java中，由于Java虚拟机自动帮助我们去释放无用(对象引用不可达)的对象，内部也会根据堆内进行分代垃圾回收，同时有多种垃圾回收器可供选择，这极大的帮助了程序员更好的开发项目。所以很多大数据组件选择Java进行开发。

2. 目前使用Java开发的人数非常多，便于大数据项目推广

大数据开源项目使用Java开发的另外一个原因，就是目前在全球使用Java语言的人数最多，Java编程语言流行度非常高。在推广大数据开源项目时，可以更好地让其他同学了解。下面是2019年9月TIOBE编程语言排行榜：

Java以16.661%排在第一，C语言紧随其后。比例越高，代表编程语言在程序员中越流行，从而代表语言的使用人数也越多。

程序员在学习大数据组件时，肯定要对组件进行深入研究。研究的过程中，肯定少不了看项目的源代码。如果大数据组件选择一门非常冷门的编程语言来进行开发，估计很多程序员在看到源码时，就不想研究这门大数据组件了。选择Java语言开发，让更多的程序员不会因为语言的不熟悉性， 而放弃对这么大数据组件的研究。

Java和大数据有什么关系？

简单的说Java语言是做大数据研发的工具之一，不少早期做大数据平台开发的程序员都是做Java开发出身，而且Hadoop平台本身就是采用Java语言开发的，所以很多做大数据开发的程序员第一个排序实验都是使用Java语言开发的。所以，Java是早期做大数据开发的基础之一。

大数据确切的说，它并不能算一门具体的技术，而是一种概念，一种大的技术范畴。大数据主要是用来处理，分析，存储海量数据，对这些大量的数据进行加工处理等操作。大数据领域里面涉及到Hadoop，hive，flink，hbase，java等各种具体的技术，看清楚，在这里Java也可以为大数据的实现提供服务哦。所以可以说，Java可以帮助我们实现大数据的开发，Java就像是一个“建筑工人"，它可以把各种数据原料整合在一起，构建出大数据这么一个环境。

通常情况下，我们说的大数据，是指基于Hadoop的大数据生态，在这个生态中，有很多很多的产品，每个产品负责解决大数据整体方案中的一个问题，如Hadoop自身包含MapReduce,Yarn,HDFS等，MapReduce 负责批处理计算，HDFS负责的分布式存储，YARN负责资源管理，其他如HBASE负责数据存储，等等。这些大数据生态中的不同产品，大部分都是由Java开发的，所以说它们与Java密不可分。

由于软件自身由Java开发，因此基本这些大数据产品做开发，Java语言就是首选，因为这些产品基本都提供Java语言的编程接口API。

还有一些产品，虽然不是用Java语言开发，但是使用了基于JVM的语言，如Spark是由Scala语言开发的，而Scala是基于JVM的，这就意味着可以进行Scala与Java的混合开发，同样离不开Java。

大数据框架的编写支持很多开发语言，但是Java在大数据开发方面有很大的优势，目前流行的大数据Hadoop框架，很多部分都是用开源的Java语言编写，因此Java在大数据方面有很大优势。在大数据的中，也许别的你可能不在意，但是Hadoop想必你是注意到了的吧，大数据中不得不学的重要内容。

转载：阿里巴巴为什么选择Apache Flink？

本文主要整理自阿里巴巴计算平台事业部资深技术专家莫问在云栖大会的演讲。

合抱之木，生于毫末

随着人工智能时代的降临，数据量的爆发，在典型的大数据的业务场景下数据业务最通用的做法是：选用批处理的技术处理全量数据，采用流式计算处理实时增量数据。在绝大多数的业务场景之下，用户的业务逻辑在批处理和流处理之中往往是相同的。但是，用户用于批处理和流处理的两套计算引擎是不同的。

因此，用户通常需要写两套代码。毫无疑问，这带来了一些额外的负担和成本。阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题，所以阿里就在想，我们能不能有一套统一的大数据引擎技术，用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下，不管是全量数据还是增量数据，亦或者实时处理，一套方案即可全部支持， 这就是阿里选择Flink的背景和初衷 。

目前开源大数据计算引擎有很多选择，流计算如Storm,Samza,Flink,Kafka Stream等，批处理如Spark,Hive,Pig,Flink等。而同时支持流处理和批处理的计算引擎，只有两种选择：一个是Apache Spark，一个是Apache Flink。

从技术，生态等各方面的综合考虑。首先，Spark的技术理念是基于批来模拟流的计算。而Flink则完全相反，它采用的是基于流计算来模拟批计算。

从技术发展方向看，用批来模拟流有一定的技术局限性，并且这个局限性可能很难突破。而Flink基于流来模拟批，在技术上有更好的扩展性。从长远来看，阿里决定用Flink做一个统一的、通用的大数据引擎作为未来的选型。

Flink是一个低延迟、高吞吐、统一的大数据计算引擎。在阿里巴巴的生产环境中，Flink的计算平台可以实现毫秒级的延迟情况下，每秒钟处理上亿次的消息或者事件。同时Flink提供了一个Exactly-once的一致性语义。保证了数据的正确性。这样就使得Flink大数据引擎可以提供金融级的数据处理能力。

Flink在阿里的现状

基于Apache Flink在阿里巴巴搭建的平台于2016年正式上线，并从阿里巴巴的搜索和推荐这两大场景开始实现。目前阿里巴巴所有的业务，包括阿里巴巴所有子公司都采用了基于Flink搭建的实时计算平台。同时Flink计算平台运行在开源的Hadoop集群之上。采用Hadoop的YARN做为资源管理调度，以 HDFS作为数据存储。因此，Flink可以和开源大数据软件Hadoop无缝对接。

目前，这套基于Flink搭建的实时计算平台不仅服务于阿里巴巴集团内部，而且通过阿里云的云产品API向整个开发者生态提供基于Flink的云产品支持。

Flink在阿里巴巴的大规模应用，表现如何？

规模： 一个系统是否成熟，规模是重要指标，Flink最初上线阿里巴巴只有数百台服务器，目前规模已达上万台，此等规模在全球范围内也是屈指可数；

状态数据： 基于Flink，内部积累起来的状态数据已经是PB级别规模；

Events： 如今每天在Flink的计算平台上，处理的数据已经超过万亿条；

PS： 在峰值期间可以承担每秒超过4.72亿次的访问，最典型的应用场景是阿里巴巴双11大屏；

Flink的发展之路

接下来从开源技术的角度，来谈一谈Apache Flink是如何诞生的，它是如何成长的？以及在成长的这个关键的时间点阿里是如何进入的？并对它做出了那些贡献和支持？

Flink诞生于欧洲的一个大数据研究项目StratoSphere。该项目是柏林工业大学的一个研究性项目。早期，Flink是做Batch计算的，但是在2014年，StratoSphere里面的核心成员孵化出Flink，同年将Flink捐赠Apache，并在后来成为Apache的顶级大数据项目，同时Flink计算的主流方向被定位为Streaming，即用流式计算来做所有大数据的计算，这就是Flink技术诞生的背景。

2014年Flink作为主攻流计算的大数据引擎开始在开源大数据行业内崭露头角。区别于Storm,Spark Streaming以及其他流式计算引擎的是：它不仅是一个高吞吐、低延迟的计算引擎，同时还提供很多高级的功能。比如它提供了有状态的计算，支持状态管理，支持强一致性的数据语义以及支持Event Time,WaterMark对消息乱序的处理。

Flink核心概念以及基本理念

Flink最区别于其他流计算引擎的，其实就是状态管理。

什么是状态？例如开发一套流计算的系统或者任务做数据处理，可能经常要对数据进行统计，如Sum,Count,Min,Max,这些值是需要存储的。因为要不断更新，这些值或者变量就可以理解为一种状态。如果数据源是在读取Kafka,RocketMQ，可能要记录读取到什么位置，并记录Offset，这些Offset变量都是要计算的状态。

Flink提供了内置的状态管理，可以把这些状态存储在Flink内部，而不需要把它存储在外部系统。这样做的好处是第一降低了计算引擎对外部系统的依赖以及部署，使运维更加简单；第二，对性能带来了极大的提升：如果通过外部去访问，如Redis,HBase它一定是通过网络及RPC。如果通过Flink内部去访问，它只通过自身的进程去访问这些变量。同时Flink会定期将这些状态做Checkpoint持久化，把Checkpoint存储到一个分布式的持久化系统中，比如HDFS。这样的话，当Flink的任务出现任何故障时，它都会从最近的一次Checkpoint将整个流的状态进行恢复，然后继续运行它的流处理。对用户没有任何数据上的影响。

Flink是如何做到在Checkpoint恢复过程中没有任何数据的丢失和数据的冗余？来保证精准计算的？

这其中原因是Flink利用了一套非常经典的Chandy-Lamport算法，它的核心思想是把这个流计算看成一个流式的拓扑，定期从这个拓扑的头部Source点开始插入特殊的Barries，从上游开始不断的向下游广播这个Barries。每一个节点收到所有的Barries,会将State做一次Snapshot，当每个节点都做完Snapshot之后，整个拓扑就算完整的做完了一次Checkpoint。接下来不管出现任何故障，都会从最近的Checkpoint进行恢复。

Flink利用这套经典的算法，保证了强一致性的语义。这也是Flink与其他无状态流计算引擎的核心区别。

下面介绍Flink是如何解决乱序问题的。比如星球大战的播放顺序，如果按照上映的时间观看，可能会发现故事在跳跃。

在流计算中，与这个例子是非常类似的。所有消息到来的时间，和它真正发生在源头，在线系统Log当中的时间是不一致的。在流处理当中，希望是按消息真正发生在源头的顺序进行处理，不希望是真正到达程序里的时间来处理。Flink提供了Event Time和WaterMark的一些先进技术来解决乱序的问题。使得用户可以有序的处理这个消息。这是Flink一个很重要的特点。

接下来要介绍的是Flink启动时的核心理念和核心概念，这是Flink发展的第一个阶段；第二个阶段时间是2015年和2017年，这个阶段也是Flink发展以及阿里巴巴介入的时间。故事源于2015年年中，我们在搜索事业部的一次调研。当时阿里有自己的批处理技术和流计算技术，有自研的，也有开源的。但是，为了思考下一代大数据引擎的方向以及未来趋势，我们做了很多新技术的调研。

结合大量调研结果，我们最后得出的结论是：解决通用大数据计算需求，批流融合的计算引擎，才是大数据技术的发展方向，并且最终我们选择了Flink。

但2015年的Flink还不够成熟，不管是规模还是稳定性尚未经历实践。最后我们决定在阿里内部建立一个Flink分支，对Flink做大量的修改和完善，让其适应阿里巴巴这种超大规模的业务场景。在这个过程当中，我们团队不仅对Flink在性能和稳定性上做出了很多改进和优化，同时在核心架构和功能上也进行了大量创新和改进，并将其贡献给社区，例如：Flink新的分布式架构，增量Checkpoint机制,基于Credit-based的网络流控机制和Streaming SQL等。

阿里巴巴对Flink社区的贡献

我们举两个设计案例，第一个是阿里巴巴重构了Flink的分布式架构，将Flink的Job调度和资源管理做了一个清晰的分层和解耦。这样做的首要好处是Flink可以原生的跑在各种不同的开源资源管理器上。经过这套分布式架构的改进，Flink可以原生地跑在Hadoop Yarn和Kubernetes这两个最常见的资源管理系统之上。同时将Flink的任务调度从集中式调度改为了分布式调度，这样Flink就可以支持更大规模的集群，以及得到更好的资源隔离。

另一个是实现了增量的Checkpoint机制，因为Flink提供了有状态的计算和定期的Checkpoint机制，如果内部的数据越来越多，不停地做Checkpoint,Checkpoint会越来越大，最后可能导致做不出来。提供了增量的Checkpoint后，Flink会自动地发现哪些数据是增量变化，哪些数据是被修改了。同时只将这些修改的数据进行持久化。这样Checkpoint不会随着时间的运行而越来越难做，整个系统的性能会非常地平稳，这也是我们贡献给社区的一个很重大的特性。

经过2015年到2017年对Flink Streaming的能力完善，Flink社区也逐渐成熟起来。Flink也成为在Streaming领域最主流的计算引擎。因为Flink最早期想做一个流批统一的大数据引擎，2018年已经启动这项工作，为了实现这个目标，阿里巴巴提出了新的统一API架构，统一SQL解决方案，同时流计算的各种功能得到完善后，我们认为批计算也需要各种各样的完善。无论在任务调度层，还是在数据Shuffle层，在容错性，易用性上，都需要完善很多工作。

篇幅原因，下面主要和大家分享两点：

● 统一 API Stack

● 统一 SQL方案

先来看下目前Flink API Stack的一个现状，调研过Flink或者使用过Flink的开发者应该知道。Flink有2套基础的API，一套是DataStream，一套是DataSet。DataStream API是针对流式处理的用户提供，DataSet API是针对批处理用户提供，但是这两套API的执行路径是完全不一样的，甚至需要生成不同的Task去执行。所以这跟得到统一的API是有冲突的，而且这个也是不完善的，不是最终的解法。在Runtime之上首先是要有一个批流统一融合的基础API层，我们希望可以统一API层。

因此，我们在新架构中将采用一个DAG（有限无环图）API，作为一个批流统一的API层。对于这个有限无环图，批计算和流计算不需要泾渭分明的表达出来。只需要让开发者在不同的节点，不同的边上定义不同的属性，来规划数据是流属性还是批属性。整个拓扑是可以融合批流统一的语义表达，整个计算无需区分是流计算还是批计算，只需要表达自己的需求。有了这套API后，Flink的API Stack将得到统一。

除了统一的基础API层和统一的API Stack外，同样在上层统一SQL的解决方案。流和批的SQL，可以认为流计算有数据源，批计算也有数据源，我们可以将这两种源都模拟成数据表。可以认为流数据的数据源是一张不断更新的数据表，对于批处理的数据源可以认为是一张相对静止的表，没有更新的数据表。整个数据处理可以当做SQL的一个Query，最终产生的结果也可以模拟成一个结果表。

对于流计算而言，它的结果表是一张不断更新的结果表。对于批处理而言，它的结果表是相当于一次更新完成的结果表。从整个SOL语义上表达，流和批是可以统一的。此外，不管是流式SQL，还是批处理SQL，都可以用同一个Query来表达复用。这样以来流批都可以用同一个Query优化或者解析。甚至很多流和批的算子都是可以复用的。

Flink的未来方向

首先，阿里巴巴还是要立足于Flink的本质，去做一个全能的统一大数据计算引擎。将它在生态和场景上进行落地。目前Flink已经是一个主流的流计算引擎，很多互联网公司已经达成了共识：Flink是大数据的未来，是最好的流计算引擎。下一步很重要的工作是让Flink在批计算上有所突破。在更多的场景下落地，成为一种主流的批计算引擎。然后进一步在流和批之间进行无缝的切换，流和批的界限越来越模糊。用Flink,在一个计算中，既可以有流计算，又可以有批计算。

第二个方向就是Flink的生态上有更多语言的支持，不仅仅是Java，Scala语言，甚至是机器学习下用的Python，Go语言。未来我们希望能用更多丰富的语言来开发Flink计算的任务，来描述计算逻辑，并和更多的生态进行对接。

最后不得不说AI，因为现在很多大数据计算的需求和数据量都是在支持很火爆的AI场景，所以在Flink流批生态完善的基础上，将继续往上走，完善上层Flink的Machine Learning算法库，同时Flink往上层也会向成熟的机器学习，深度学习去集成。比如可以做Tensorflow On Flink, 让大数据的ETL数据处理和机器学习的Feature计算和特征计算，训练的计算等进行集成，让开发者能够同时享受到多种生态给大家带来的好处。

现在学习互联网技术怎么样？

互联网行业有很多技术方向可以选择，在从事互联网行业之前，首先你需要明白自己的技术兴趣和自身情况，选择一个适合自己的技术方向后，然后再去深入的学习你选择的技术方向的相关技术。每一个互联网技术方向都包含了很多底层技术。下面我主要来说说大数据、后端开发、机器学习算法主要有哪些技术学习：

大数据相关技术

大数据所涉及到相关技术主要是和数据相关，在数据量非常大的情况下，怎么存储这些数据，怎么通过分布式计算减低计算的时间，以及如何实施地对这些数据计算从而产出实时指标。

大数据存储方面的技术，你可以学习HadoopHDFS分布式文件系统，如何将非常大的数据文件，分布式的存储在不同的机器上面，同时如何满足CAP理论中的AP。在NoSQL数据库中，你可以学习HBase列式数据库、图数据库(Neo4j、JanusGraph)、mongodb等。

离线方面的技术，你可以学习HadoopMapReduce计算框架、Hive、Spark计算框架。如果你对数据仓库感兴趣，你还可以去了解数仓相关的建模知识、如何结合业务去构建模型等等。

实时计算方向的技术，你可以去学习Storm、SparkStreaming、Flink计算框架。实时计算的ExactlyOnce或者AtLeastOnce的语义含义，如何实现状态的计算和存储等等。

每一个大数据方向，都有很多技术可以学习，你不仅要学会这些技术的使用，还要学会它们底层原理的实现，以后你在大数据技术架构方面，可以更加的得得心应手。

后台开发相关技术

后台开发技术，更多的是在后台处理前端的请求逻辑，前端可以将相关请求参数通过HTTP连接传入到后端，后端接收到请求参数，进行业务逻辑处理，然后存储到数据库等等。

后台开发技术，所涉及到的技术很多，在语言方面，你可以去学习Java语言、C++语言、Go语言，去学习这些语言的底层原理和使用语法。

在数据库存储方面，你可以去学习Mysql、Redis等数据库的使用和原理。在服务接口开发方面，你可以去学习Dubbo服务框架。

在后端开发服务层方面，你可以去学习Sping、SpringBoot、Mybatis、微服务等等。后端开发涉及到的技术真的是太多，任何一门技术，都需要你用心学很久才能真正掌握。

机器学习算法相关技术

机器学习算法方面，你可以学习机器学习基础的相关算法，比如线性回归、K-means、SVM、决策树、PCA等相关算法，这些算法怎么实现的，使用到的场景有哪些。无监督算法、半监督算法、有监督算法之间的区别，为什么要这么划分。

当你对机器学习一些比较基础的算法的都掌握时，下一步你可以去了解一些更深奥的算法，人工神经网络、卷积神经网络，深度学习算法、实时推荐算法、特征工程等等。你学习这些算法技术的目的不仅仅是学习，你可以思考通过这些算法能够为公司解决哪方面的问题，能给公司带来哪些收益等。

机器学习算法方面，你可以偏向研究学习，那你的目的更多的是发表相关论文，提升自己在全球学者的影响力以及为工业实践化作铺垫。你也可以偏向机器学习算法应用方面，怎么通过机器学习算法，解决公司面临的问题，从而更好地为公司带来经济收益。机器学习的技术，你一生都学不完。

总结

互联网有很多技术方向，而每一个技术方向都有很多技术需要学习。你在进入互联网行业之前，必须要选择一个自己想从事的方向。技术的学习不在于多，而在于深，当你对很多技术底层的原理都有很深入的了解时，你会发现，其实大部分技术底层原理，都有很多相似的地方。这样你再去扩展自己的技术广度，会更加容易。