Apache Flink-编程指南-快速开始

设置：下载和启动Flink
- 启动一个本地Flink集群
阅读代码
运行示例
下一步

设置: 下载和启动Flink

Flink运行在Linux, Mac OS X, and Windows. 能够允许Flink唯一的要求是正确安装了java8.Windows用户，请看Flink on Windows指南，它描述了如何在Windows本地配置以运行Flink。

通过下面命令查看java8是否正确安装：

java -version

如果已经安装了java8，输出类似下面这样：

java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)

下载和解压

从 downloads page下载二进制包. 你可以任何你需要的Hadoop/Scala结合的版本.如果你打算仅仅使用本地文件系统吗，任何Hadoop版本可以工作的很好。
进入下载目录。
解压下载的归档文件。

$ cd ~/Downloads        # Go to download directory
$ tar xzf flink-*.tgz   # Unpack the downloaded archive
$ cd flink-1.6.1

启动本地FLink集群

$ ./bin/start-cluster.sh  # Start Flink

查看调度前端web页面 http://localhost:8081 ，确保每个组件都启动并运行了。web前端应该显示有一个单一可用的TaskManager实例。

你也可以在日志目录中检查日志文件来确认系统是否运行良好：

$ tail log/flink-*-standalonesession-*.log
INFO ... - Rest endpoint listening at localhost:8081
INFO ... - http://localhost:8081 was granted leadership ...
INFO ... - Web frontend listening at http://localhost:8081.
INFO ... - Starting RPC endpoint for StandaloneResourceManager at akka://flink/user/resourcemanager .
INFO ... - Starting RPC endpoint for StandaloneDispatcher at akka://flink/user/dispatcher .
INFO ... - ResourceManager akka.tcp://[email protected]:6123/user/resourcemanager was granted leadership ...
INFO ... - Starting the SlotManager.
INFO ... - Dispatcher akka.tcp://[email protected]:6123/user/dispatcher was granted leadership ...
INFO ... - Recovering all persisted jobs.
INFO ... - Registering TaskManager ... under ... at the SlotManager.

阅读代码

你可以在GitHub上查看完整的SocketWindowWordCount 源码。

Scala代码

object SocketWindowWordCount {

    def main(args: Array[String]) : Unit = {

        // the port to connect to
        val port: Int = try {
            ParameterTool.fromArgs(args).getInt("port")
        } catch {
            case e: Exception => {
                System.err.println("No port specified. Please run 'SocketWindowWordCount --port <port>'")
                return
            }
        }

        // get the execution environment
        val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment

        // get input data by connecting to the socket
        val text = env.socketTextStream("localhost", port, '\n')

        // parse the data, group it, window it, and aggregate the counts
        val windowCounts = text
            .flatMap { w => w.split("\\s") }
            .map { w => WordWithCount(w, 1) }
            .keyBy("word")
            .timeWindow(Time.seconds(5), Time.seconds(1))
            .sum("count")

        // print the results with a single thread, rather than in parallel
        windowCounts.print().setParallelism(1)

        env.execute("Socket Window WordCount")
    }

    // Data type for words with count
    case class WordWithCount(word: String, count: Long)
}

运行示例

现在，准确去运行Flink应用程序了。它从socket读取文本。每隔5秒钟打印一次前5秒钟内每个不同单词的出现次数，即，只要单词在其中浮动，就会出现一个处理时间的滚动窗口。

使用netcat 启动本地服务

$ nc -l 9000

提交Flink应用程序

$ ./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000
Starting execution of program

程序连接上了socket并等待输入。你可以在web界面上检查job是否如预期运行。

单词以时间窗口5秒钟统计 (处理时间, 滚动窗口) 并打印到标准输出. 监控 TaskManager的输出文件，并在nc写入一些文本 (输入被发送到Flink在一行行点击后 )：

$ nc -l 9000
lorem ipsum
ipsum ipsum ipsum
bye

.out文件会最终在事件窗口的结尾打印统计结果，只要单词是浮动的，即 ：

$ tail -f log/flink-*-taskexecutor-*.out
lorem : 1
bye : 1
ipsum : 4

停止Flink集群可以这样做：

$ ./bin/stop-cluster.sh

下一步

查看更多示例，以更好地了解Flink的编程api。当你完成了，继续阅读流指南。