Flink 靠什么征服饿了么工程师?

  • 时间:
  • 浏览:0
  • 来源:uu直播快3平台_UU快3直播官方

1) at-most-once:即fire and forget,大伙儿 通常写有一一一两个 java的应用,不去考虑源头的offset管理,要是去考虑

平台现状

应用场景

目前大伙儿 集群规模每天数据量有1000TB,计算次数有10000000000,节点有1000个。这里要提一下,Spark和Flink有的是on yarn的,其中Flink onyarn主要是用作任务间jobmanager隔离, Storm是standalone模式。

在讲述大伙儿 应用场景完后 ,先强调实时计算有一一一两个 重要概念, 一致性语义:

下面是目前饿了么平台现状架构图:

目前Storm任务大概有1000多个,Spark任务有1000个左右,Flink暂时还比较少。

1.一致性语义

来源于多个数据源的数据写到kafka里,计算引擎主要是Storm,Spark和Flink,计算引擎出来的结果数据再落地到各种存储上。