Flink从入门到放弃(入门篇2)-本地环境搭建&构建第一个Flink应用

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 本地安装单机版本Flink一般来说,线上都是集群模式,那么单机模式方便我们测试和学习。环境要求本地机器上需要有 Java 8 和 maven 环境,推荐在linux或者mac上开发Flink应用:如果有 Java 8 环境,运行下面的命令会输出如下版本信息:如果有 maven 环境,运行下面的命令会输出如下版本信息:开发工具推荐使用 ItelliJ IDEA。

本地安装单机版本Flink

一般来说,线上都是集群模式,那么单机模式方便我们测试和学习。

环境要求

本地机器上需要有 Java 8 和 maven 环境,推荐在linux或者mac上开发Flink应用:

如果有 Java 8 环境,运行下面的命令会输出如下版本信息:

image

如果有 maven 环境,运行下面的命令会输出如下版本信息:

image

开发工具推荐使用 ItelliJ IDEA。

第一种方式

来这里https://flink.apache.org/

看这里:

image

注意:

An Apache Hadoop installation is not required to use Apache Flink. For users that use Flink without any Hadoop components, we recommend the release without bundled Hadoop libraries.

这是啥意思?
这个意思就是说Flink可以不依赖Hadoop环境,如果说单机玩的话,下载一个only版本就行了。

第二种方式(不推荐)

git clone https://github.com/apache/flink.git 
cd flink
mvn clean package -DskipTests  

然后进入编译好的Flink中去执行 bin/start-cluster.sh

其他乱七八糟的安装办法

比如 Mac用户可以用brew install apache-flink ,前提是安装过 brew这个mac下的工具.

启动Flink

我们先到Flink的目录下来:
如下:

$ flink-1.7.1 pwd
/Users/wangzhiwu/Downloads/flink-1.7.1

image
执行命令:

image

接着就可以进入 web 页面(http://localhost:8081/) 查看

image

恭喜你,一个单机版的flink就跑起来了。

构建一个应用

当然了,我们可以用maven,一顿new,new出来一个过程,这里我们将使用 Flink Maven Archetype 来创建我们的项目结构和一些初始的默认依赖。在你的工作目录下,运行如下命令来创建项目:

mvn archetype:generate \
    -DarchetypeGroupId=org.apache.flink \
    -DarchetypeArtifactId=flink-quickstart-java \
    -DarchetypeVersion=1.7.2 \
    -DgroupId=flink-project \
    -DartifactId=flink-project \
    -Dversion=0.1 \
    -Dpackage=myflink \
    -DinteractiveMode=false

这样一个工程就构建好了。

还有一个更加牛逼的办法,看这里:

curl https://flink.apache.org/q/quickstart.sh | bash

直接在命令行执行上面的命令,结果如下图:

image

同样可以构建一个Flink工程,而且自带一些demo。

原理是什么?点一下它看看就明白了。
https://flink.apache.org/q/quickstart.sh

编写一个入门级的WordCount


    //
    //    Program
    //

    public static void main(String[] args) throws Exception {

        // set up the execution environment
        final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

        // get input data
        DataSet<String> text = env.fromElements(
                "To be, or not to be,--that is the question:--",
                "Whether 'tis nobler in the mind to suffer",
                "The slings and arrows of outrageous fortune",
                "Or to take arms against a sea of troubles,"
                );

        DataSet<Tuple2<String, Integer>> counts =
                // split up the lines in pairs (2-tuples) containing: (word,1)
                text.flatMap(new LineSplitter())
                // group by the tuple field "0" and sum up tuple field "1"
                .groupBy(0) //(i,1) (am,1) (chinese,1)
                .sum(1);

        // execute and print result
        counts.print();

    }

    //
    //     User Functions
    //

    /**
     * Implements the string tokenizer that splits sentences into words as a user-defined
     * FlatMapFunction. The function takes a line (String) and splits it into
     * multiple pairs in the form of "(word,1)" (Tuple2&lt;String, Integer&gt;).
     */
    public static final class LineSplitter implements FlatMapFunction<String, Tuple2<String, Integer>> {

        @Override
        public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
            // normalize and split the line
            String[] tokens = value.toLowerCase().split("\\W+");

            // emit the pairs
            for (String token : tokens) {
                if (token.length() > 0) {
                    out.collect(new Tuple2<String, Integer>(token, 1));
                }
            }
        }
    }
}

类似的例子,官方也有提供的,可以在这里下载:
WordCount官方推荐

运行

本地右键运行:

image

提交到本地单机Flink上

  • 进入工程目录,使用以下命令打包
mvn clean package -Dmaven.test.skip=true

然后,进入 flink 安装目录 bin 下执行以下命令提交程序:

flink run -c org.myorg.laowang.WordCount /Users/wangzhiwu/WorkSpace/quickstart/target/quickstart-0.1.jar

分别制定main方法和jar包的地址。

在刚才的控制台中,可以看到:

image
我们刚才提交过的程序。

flink的log目录下有我们提交过的任务的日志:

image

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
2月前
|
Java 流计算
【极数系列】Flink搭建入门项目Demo & 秒懂Flink开发运行原理(05)
【极数系列】Flink搭建入门项目Demo & 秒懂Flink开发运行原理(05)
|
26天前
|
分布式计算 监控 API
flink 入门编程day02
flink 入门编程day02
34 5
|
1月前
|
SQL 关系型数据库 MySQL
Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践
Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践
134 0
|
1月前
|
分布式计算 网络安全 流计算
Flink【环境搭建 01】(flink-1.9.3 集群版安装、配置、验证)
【2月更文挑战第15天】Flink【环境搭建 01】(flink-1.9.3 集群版安装、配置、验证)
60 0
|
2月前
|
SQL 消息中间件 Kubernetes
flink问题之on kubernetes 构建失败如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
45 1
|
2月前
|
SQL Kubernetes Java
Flink构建问题之flink 1.11 on kubernetes构建失败如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
|
2月前
|
资源调度 Kubernetes Java
Flink--day02、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
Flink--day022、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
133 5
|
2月前
|
机器学习/深度学习 消息中间件 算法
Flink ML的新特性解析与应用
本文整理自阿里巴巴算法专家赵伟波,在 Flink Forward Asia 2023 AI特征工程专场的分享。
129242 4
Flink ML的新特性解析与应用
|
2月前
|
Java Linux 流计算
【极数系列】Flink环境搭建&Docker版本(04)
【极数系列】Flink环境搭建&Docker版本(04)
|
2月前
|
Java Linux 网络安全
【极数系列】Flink环境搭建&Linux版本 (03)
【极数系列】Flink环境搭建&Linux版本 (03)

热门文章

最新文章