在大会第三天下午的“大数据应用及商业模式”的专场上,来自腾讯公司资深架构师洪坤乾先生为我们分享腾讯全流程的实时计算体系及其应用。

  实时计算技术概览  

洪坤乾:腾讯海量数据实时计算平台

洪坤乾通过一个简单的例子为大家介绍了实时计算模型,通过下面的图大家可以很容易的理解了实时计算模型,实时计算的应用场景包括了社交(实时感知好友的动向)、电商(实时统计商品的热度)、游戏(实时预测用户的感受)、营销(实时感知用户兴趣变化、环境/位置变化、商家优惠策略变化,从而实现精准营销)、运营(实时感知每台机器、每个接口、每个业务的运行状态,实现秒级监控告警)。

洪坤乾:腾讯海量数据实时计算平台

  通过实时计算的应用场景分析,可以得出实时计算包括三个步骤收集、实时处理、存储,洪坤乾表示,我们面临的技术挑战是腾讯拥有海量用户、众多产品、频繁信息,最总形成了海量信息。

  腾讯实时计算平台TRC

  针对上面的挑战,腾讯开发了实时计算平台TRC(Tencent Realtime Compute),通过对海量数据进行实时采集接入,然后采用流式分析计算技术,实时感知外部信息变化;从事件产生到感知变化最后输出结果,秒级延时;基于在线消息流的实时计算模型,区别于传统的离线批量计算模型。

洪坤乾:腾讯海量数据实时计算平台
▲腾讯实时计算平台TRC

  腾讯实时计算平台TRC 可以实现TDBank实时接入、TDProcess实时处理、TDEngine存储引擎、TDEngine存储引擎 – 体系结构、此外腾讯实时计算平台TRC还进行了平台扩展Java for Storm、Storm on Yarn、Pig Latin on Storm。

洪坤乾:腾讯海量数据实时计算平台
▲TRC – 未来 – 开放计算能力

  TRC的典型应用案例

  随后洪坤乾分享了TRC在腾讯的总体应用概况、TRC在精准推荐领域的应用、TRC在实时分析领域的应用三方面内容。

洪坤乾:腾讯海量数据实时计算平台

  TRC在腾讯每天千亿级实时消息接入,万亿次实时计算,万亿次存储访问;覆盖SNG、IEG、MIG、CDG 等各大BG;涵盖广告、视频、游戏、文学、新闻 等多个业务;涉及个性化精准推荐、实时分析统计、秒级监控告警 等多个领域。

洪坤乾:腾讯海量数据实时计算平台

  在最后,洪坤乾为大家介绍了TRC的最佳应用广点通广告功能,实现了百亿级推荐流量 万亿次多维度计算、万亿次广告预测、50ms请求响应(10ms)、20%效果提升。正是利用大数据处理平台为技术基石, 以精准推荐业务为价值体现。每一年数据库技术大会都是不一样的内容,同样的精彩,欢迎更多的数据库达人来到大会现场与技术牛人面对面交流。

相关文章:

  • 2022-12-23
  • 2021-07-01
  • 2021-06-18
  • 2021-09-09
  • 2022-12-23
  • 2021-06-11
  • 2021-09-19
猜你喜欢
  • 2021-08-06
  • 2021-06-14
  • 2021-07-06
  • 2021-09-14
  • 2022-02-04
  • 2021-10-07
  • 2021-04-17
相关资源
相似解决方案