flink

本次需求场景主要为实现将flinksql中collect()函数输出的Mutiset(VARCHAR<100>)多行结果转换为字符串。 一、FlinkSQL自定义函数分类 Flink SQL 的自定义函数是用户可以自行编写的一种函数，用于扩展 Flink SQL 的功能。自定义函数可以在 »

目录 基于k8s部署Session模式Flink集群 什么是Session模式 Flink的filesystem 基于k8s部署高可用Session模式Flink集群 各组件版本号 制作镜像 配置文件(ConfigMap) 添加serviceAccount并授权 部署JobManager 部署T »

目录 end-to-end exactly-once 富函数 富函数举例 Rich Function有一个生命周期的概念。典型的生命周期方法有： end-to-end exactly-once exactly-once只能保证Flink内部状态的一致性。而这个语义主要依赖Che »

这篇文章主要介绍“基于k8s如何部署Session模式Flink集群”，在日常操作中，相信很多人在基于k8s如何部署Session模式Flink集群问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”基于k8s如何部署Session模式Flink集群”的疑惑有所帮助！接下来 »

这篇文章主要介绍“基于k8s如何部署Session模式Flink集群”，在日常操作中，相信很多人在基于k8s如何部署Session模式Flink集群问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”基于k8s如何部署Session模式Flink集群”的疑惑有所帮助！接下来 »

Per-job Cluster 该模式下，一个作业一个集群，作业之间相互隔离。 在Per-Job模式下，集群管理器框架用于为每个提交的Job启动一个 Flink 集群。Job完成后，集群将关闭，所有残留的资源也将被清除。 此模式可以更好地隔离资源，因为行为异常的Job不会影响任何其他Job。另外，由 »

目录 概览 时间 重要类 WatermarkStrategy WatermarkGenerator TimerService 处理逻辑 窗口 重要类 Window WindowAssigner Triger Evictor WindowOperator InternalAppendi »

目录 概览 时间 重要类 WatermarkStrategy WatermarkGenerator TimerService 处理逻辑 窗口 重要类 Window WindowAssigner Triger Evictor WindowOperator InternalAppendi »

目录 研发背景 场景描述 组件版本 日志结构 技术方案 关键代码 主入口类 mapper算子 filter算子 keyBy算子 窗口函数（核心代码） 最后一次map算子 ElasticSearch工具类 事件实体类 消息实体类 研发背景 公司安全部目前针对内部系统的网络访问日志的安全审 »

研发背景     公司安全部目前针对内部系统的网络访问日志的安全审计，大部分都是T+1时效，每日当天，启动Python编写的定时任务，完成昨日的日志审计和检测，定时任务运行完成后，统一进行企业微信告警推送。这种方案在目前的网络环境和人员规模下，呈现两个痛点，一是面对日益频繁的网络攻击、钓鱼链接，T+ »

各位读者老爷请放下手上的板砖，我可真没有标题党，且容老弟慢慢道来。 spark和flink本身相信我不用做过多的介绍，后端同学不管搞没搞过大数据，应该都多多少少听过。 如果没听过，简单说，spark和flink之于大数据，就好比vue和react之于前端，就好比spring家族之于java。 从20 ... »

如果说简单聚合是对一些特定统计需求的实现，那么 reduce 算子就是一个一般化的聚合统计操作了。从大名鼎鼎的 MapReduce 开始，我们对 reduce 操作就不陌生：它可以对已有的 数据进行归约处理，把每一个新输入的数据和当前已经归约出来的值，再做一个聚合计算。与简单聚合类似，reduce »

目录 Sink介绍 UML关系 Flink addSink 案例 Sink介绍 在Fink官网中sink端只是给出了常规的write api.在我们实际开发场景中需要将flink处理的数据写入kafka,hbase kudu等外部系统。 UML关系 自定义Sink需要实现父类的接口和 »

目录 引出问题 demo设计 环境搭建 flink程序代码 项目演示 告警系统架构 引出问题 项目使用告警系统的逻辑是将实时数据保存到本地数据库再使用定时任务做判断，然后产生告警数据。这种方式存在告警的延时实在是太高了。数据从产生到保存，从保存到判断都会存在时间差，按照保存数据定时5分钟一 »

大数据开源商业化领域近日有一个爆炸性新闻，“Confluent 收购 Immerok”，字越少事越大，先给大家简单科普一下 Confluent 和 Immerok 这两家公司，Confluent 是掌控 Apache Kafka 社区的大数据开源商业化公司，Immerok 是 Apache Flin ... »

目录 前言 准备工作 开发阶段 首先需要引入的包POM文件 主要代码 运行效果 总结 前言 这周学习下Flink相关的知识，学习到一个读写Kafka消息的示例， 自己动手实践了一下，别人示例使用的是普通的Java Main方法，没有用到spring boot. 我们在实际工作中会使用spr »

vivo 实时计算平台是 vivo 实时团队基于 Apache Flink 计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理平台。 ... »

问题描述 近期业务反馈， 开启了 mini-batch 之后， 出现了数据不准的情况， 关掉了 mini-batch 之后， 就正常了， 因此业务方怀疑，是不是 Flink 的 mini-batch 存在 bug ？ 问题排查 初步分析 mini-batch 已经在内部大规模使用， 目前没有发现一例 ... »

目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ »

目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ »