亚搏体育app网站

实时计算在贝壳的实践

发布时间:2020-03-30

摘要:Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用,通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。

业务规模及演进

下图为贝壳找房的业务场景示意图。最上层为贝壳找房公司最为主体的四大业务:二手房交易、新房交易、租赁业务及装修业务。四大业务运营将产生图示中间部分的四大数据即楼盘字典、交易数据、用户行为日志与后端服务日志。图示最下部分代表公司实时数据采集、实时数据计算的业务模块,本文中的案例将重点介绍数据实时计算部分的设计、实现及应用内容。

发展历程

在2018年初,随着公司埋点治理规范的推进,我们建设了DP实时数据总线,统一承接各种埋点数据流的标准化处理,并对外提供清洗后的实时数据。随着维护的实时任务增加,面临着实时数据流稳定性以及任务管理方面的挑战,于是贝壳大数据部着手研发了Hermes实时计算平台,提供统一的实时任务管理平台。

在2018年10月,我们推出了SQL V1编辑器来方便用户开发实时计算任务。SQL V1基于Spark Structured Streaming技术,用户可以使用SQL完成需求的开发,同时以界面拖拽的形式呈现给用户,使用户的操作更加便捷。在2019年5月,经过调研对比,我们引入了Flink技术栈,研发的SQL V2编辑器正式上线,SQL V2全面支持Flink SQL的各种语法并设计了大量的自定义函数,兼容hive UDF以及用户常用函数。目前我们已经在公司内进行实时数仓业务场景的探索应用。

应用规模

下图所示为目前实时计算在贝壳找房企业中的应用规模。目前平台支持30余个业务项目,流计算任务数达到400个,随着数仓的不断扩充,实时流计算的任务数将不断上升。每日处理的消息条数达到了800亿级别,效率十分可观。

支持的项目

从下图所示实时计算在企业中的支持项目可以看出,目前实时计算平台支持从风控、租赁到策略搜索再到新房交易等一系列业务项目,从各个维度支持起了企业运营产生出数据实时计算业务需求。

任务增长趋势

最开始平台上线时支持的任务增长较为缓慢,在2019年6月初,平台升级到Flink并全面支持SQL开发后,任务数量开始大规模的增长,在2019年11月份实时数仓建成后,平台所支持的任务数量有了十分明显的增长趋势。

平台数据统计

下图所示为平台每日数据统计。目前平台每日可以处理1000亿条数据,一般数据任务的处理延迟在40毫秒左右。

Hermes实时计算平台介绍

平台概览

Hermes平台目前支持着公司实时任务的开发、编辑、部署、启停等管理功能及丰富的监控报警等服务。平台支持Java、Scala、Python等多种语言开发的实时任务,支持自定义任务、模板任务及场景任务三大任务类型,同时做到了各个项目的资源隔离,每个项目均有项目的专有队列,防止与其他项目在资源上发生竞争。平台同时为资源需求较小的项目提供了公共队列,通过公共队列对该种项目进行支持的方式,更为方便的实现任务的开发。

Hermes架构

下图所示为Hermes平台的整体架构,架构分为4个层次,图中最下层深蓝条目代表架构中的计算引擎,目前计算引擎支持Flink与Spark Streaming技术,并通过消息队列、离线存储等技术辅助完成数据实时的存储。在引擎层方面,架构采用StreamSQL、DataStream、StreamCEP等技术搭建,其中StreamCEP技术很好的支持了经纪人平台业务实时监控报警的需求。功能组件层方面包括了任务实例的管理、项目管理及数据源管理等。平台目前可以在同一任务中的不同任务快照间进行相互切换,当发现上线任务有问题时,可以回退到之前的快照。

SQL V1编辑器

下图所示为SQL V1编辑器示意图。该编辑器对于大部分数据清洗及数据处理的业务场景可以实现简洁高效的编辑处理。用户在编辑器左侧可以定义编辑数据源、操作符及目标源等数据信息。中央面板上呈现的数据为SQL V1支持编辑的操作类型,选中面板中央的过滤器,即可在编辑器右侧添加相关的过滤条件,实现数据的相关过滤。在目标源层面,编辑器目前支持Kafka、Druid等多种目标源,大大提升了编辑器的兼容性。

SQL V2编辑器

下图所示为SQL V2编辑器示意图。目前SQL V2是基于Flink SQL技术较为完善的编辑器,左侧为用户进行代码编辑的部分,用户在此处可以编辑大量SQL语句以此助力不同业务场景。左下栏目中的数据为用户选中数据源自动生成的DDL,通过DDL编辑器将操作数据的样式更清晰的展示给用户。SQL V2支持了三大类型的数据表,分别是source表、sink表及维表,以此方便用户的开发。编辑器右下角可以呈现SQL语法的检测情况,以此提示用户在编辑时出现的语法错误。

SQL V2架构

SQL V2工具整体架构如下图所示。前端SQL编辑器模块包括语法语义的检查、执行计划的查看、自动DDL的生成及任务调试的功能。用户通过任务调试功能可以查看任务执行结果。后台将引擎提交到Yarn集群上执行,引擎通过任务id回调后台接口获取需要执行的SQL,对SQL做语法校验和语法解析,若出现维表关联则会额外对SQL做一层转换。

SQL引擎整体架构

下图所示为SQL引擎的整体架构。整体架构分为三个层次,最底层为Flink Table API。在Flink层之上企业设计了代码的封装,以factory的形式方便最上层的方法调用。最上层的core层负责整个系统的SQL解析。

维表关联

在SQL解析过程中,最为复杂的是维表的表格关联,下图为维表关联系统架构图。数据从数据源导入后,系统使用Async I/O技术访问后端,系统后端使用Data Accessor接口访问后端的存储。系统后端存储支持HBase与Redis存储技术,同时后端会将数据缓存于LRU Cache模块中。维表关联后的数据支持多种大数据工具的存储,从而大大增加了系统的兼容性。

丰富的内置函数

系统同时为用户提供了丰富的内置函数,包括时间函数、集合函数、Json处理函数及字符串函数。丰富的内置函数可以方便用户的开发,省去用户自己去开发的时间。

实时数仓整体架构

下图所示为实时数仓的整体架构,同时也是SQL V2系统落地的应用场景。各个层级间产生的数据被储存在了Kafka Topic中,同时数据也将被同步到hive中备份。业务方可以查询实时备份数据进行数据验证及分析等操作。目前数仓的实时计算部分可以计算当天或过往几天的数据,实时计算平台正在与其他组件合作,开发实时与离线联合的分析查询,以此扩展实时数仓的使用范围。

实时数仓数据统计

下图所示为企业实时数仓的数据统计。从2019年8月,SQL V2正式上线运营,至2019年10月平台开始支持实时数仓开发,系统的数据量开始加速增长。目前,实时数仓已经有100余个任务,数据吞吐量也达到了21亿条/天的数据级别,数据规模较为可观。

实时数仓案例

下图列举出实时数仓平台已经实现提供数据支持的应用案例。

1. 交易平台

交易平台实时大屏实时展示大区内的交易状况。在交易平台的建设中,开发团队通过数据回环将还未关联的数据返回储存模块进行重新关联,并通过检验该数据的生命周期判断是否关联成功,团队通过此种方式使得数据维表与事实表数据最终一致。

2. 经纪人行程量

经纪人行程量可以动态的展示当前经纪人对客户的维护情况,使企业可以掌握经纪人实时的工作状态。

3. 实时用户画像

实时用户画像可以实时地向企业呈现来自各个系统用户的数据信息,通过组合各个平台上用户的行为信息,提供全面、精准的用户画像。企业的算法策略部门将根据用户的实时画像进行相关信息、内容的推荐。

监控报警

下图为平台的监控报警页面截图。监控系统会实时监控平台任务的处理延时、source写入量及sink写出量三大指标。系统中同时可以设置平台数据的无心跳时间,当超出设置时限后,系统将会进行报警。

监控报警架构

下图为监控报警架构图。监控系统通过自定义的Listener对Spark进行监控,Listener引入SDK收集Spark任务的信息及运行中的日志数据。用户在此处需要进行手动SDK的导入。在Flink应用模块中,系统设计支持了自定义Report数据的获取,并通过自动加载的方式直接载入Flink中进行数据的分析与计算,同时通过任务启动是注入java探针的方式获取任务的相关信息。所有的监控信息将被统一送到Kafka Topic中,经Hermes平台分析处理,触发相应的延时报警及心跳报警。

未来发展与规划

整体架构

实时计算平台的整体架构如下图所示。在架构中间部分,平台包含了实时事件中心、事件处理平台等系统来更好的处理未来企业中的业务场景需求,以通用服务平台的方式为更多的业务方提供统一的业务支撑。在引擎方面,未来会深入研究Flink的状态管理、端到端的精确一次等技术,提高数据处理的准确性和一致性。

未来发展

未来将会建设平台的资源动态分配能力,根据任务的历史运行情况自动分配资源。用户可以在事件处理平台上定义各种事件,实时的对事件进行分析,并产生相关的数据报表。用户通过实时规则引擎用以完成各种业务规则的配置,事件命中规则后触发相关的业务操作。用户数据平台汇集各个产品、各个端的用户数据,提供用户行为的实时查询、分析,更加高效的支持营销、推荐等业务场景。实时数仓建设方面会进行KAPPA模式的探索,推进流批一体化建设,提升历史数据的处理和查询能力。

--------------------------------------

本文作者:巴蜀真人

上云就看云栖号,点此查看更多:https://yqh.aliyun.com/?utm_content=g_1000100940

本文为阿里云内容,未经允许不得转载。



声明:内容来自搜狐,该文观点仅代表作者本人,本站仅提供信息存储空间服务。如果需要删除请联系站长;

亚搏体育app网站
重庆的冬季并不荒凉,雨中的涪陵铜鼓湖湿地公园油润清新,长焦让视觉更独特 王燕文当选江苏省人大常委会副主任 北京人有福了 过年有个好去处 好玩离家还不远 韩国国会通过设立公职人员反腐机构法案 江苏淮安女市长蔡丽新任淮安市委书记 成都美食三:新年将至,中国风才够年味 太原七府坟缓洪池改造工程近期将开工 海南首个雨林高空漂流12日“开漂” 黑手又伸!为阻止中国技术进步,美国阻挠荷兰公司给中企卖光刻机 首例!香港22岁男子藏汽油弹被判囚一年 法官:罪行严重 打卡爱情圣地,圆梦蝴蝶泉边 香港高等法院被涂鸦,大律师公会谴责!律政司称诋毁法官有损法治 春节到大阪去哪儿玩?2020春节期间大阪观光活动汇总! 过年啦!送福、送礼、送门票,赶紧来安吉田园嘉乐比乐园畅玩吧! 东莞市工商联拟每季度举行一次“走进镇街”活动 ,首站选定东坑 俄火灾造成中国公民2死6伤?中国驻俄领馆:死伤者均不是中国公民 今年首个寒冷预警来了!广州11区发布寒冷预警,气温降6-8度 示威者开始从美国驻伊拉克大使馆外撤离 川藏线,凭什么被称为最美景观大道? 把保护长江母亲河纳入法治轨道——全国人大常委会组成人员热议长江保护法草案 1400万粉刷废弃房屋?深圳一街道回应:不关你事 特首也被“起底”!林郑:受害的是全社会 国网双峰供电公司:上门为返乡人员排查家里用电安全隐患 全球"最不幸福年龄"调查结果出炉 瑟瑟发抖还是松一口气? 市检察院副检察长焦慧强:从严处罚食品药品安全领域犯罪 献礼澳门回归二十周年 《莲花盛开》(中英文)画册首发 四川省经济和信息化厅党组书记陈新有接受纪律审查和监察调查 2020台湾"大选"投票正式开始 结果最快晚上8点揭晓 雄安新区两个规划获批

实时计算在贝壳的实践

ǚ雪花人绘本故事在线听ǚ,ǚ老梁故事汇 赛金花ǚ,ǚ黑龙江省幼师专业学校ǚ,ǚ精选dj舞曲串烧音乐ǚ,ǚ斐丽佳正品女装连衣裙ǚ,ǚ开胃菜丝沙拉ǚ,ǚ贵阳市区美食攻略地图ǚ,ǚ中英文互译在线翻译ǚ,ǚ成套电气设备包括哪些ǚ,ǚ禹州一高高二成绩表ǚ,ǚ爱国情怀的小故事ǚ,ǚ四海钓鱼频道节目表ǚ,ǚ威海石岛海鲜干货批发ǚ,ǚ融资租赁设备分录ǚ,ǚ乡村爱情故事4集ǚ,ǚ儿童兔小贝故事大全ǚ,ǚ东阳红木行业环保整治ǚ,ǚ天津市滨海新区环保科技公司ǚ,ǚ污水处理设备和管网招标ǚ,ǚ开心励志小故事大全ǚ,ǚ一首英文dj歌boomboomǚ,ǚ南宁拖头司机招聘ǚ,ǚ李毅吧雨后的小故事ǚ,ǚmc有什么劲爆dj的歌名ǚ,ǚ环保宣传主题标语ǚ,ǚ好心分手粤语版的中文翻译ǚ,ǚ石英机芯手表要换电池吗ǚ,ǚ上海懿胜电子设备厂ǚ,ǚios手机淘宝秒杀软件ǚ,ǚ南宁哪里买电动车便宜ǚ,ǚhp打印机检测不到设备ǚ,ǚ小说抢个总裁做爹的免费阅读ǚ,ǚ隔夜梅菜扣肉可以吃ǚ,ǚ环保节能燃气罩ǚ,ǚ童装 尺寸表 纸样ǚ,ǚ晶圆测试的设备有哪些ǚ,ǚ世界各地有趣的故事ǚ,ǚ中蜂烂仔病ǚ,ǚ火电厂特种设备安全技术ǚ,ǚ男明星衣服品牌ǚ,ǚ乡村爱情故事4 btǚ,ǚ东莞民办学校问卷调查ǚ,ǚ淘宝虚假交易被清洗ǚ,ǚ食堂厨具设备图片ǚ,ǚ动物童话故事作文ǚ,ǚ爱淘宝官方ǚ,ǚ淘宝怎么换商家客服ǚ,ǚ纯净水设备有限公司ǚ,ǚ壁挂太阳能网上报价ǚ,ǚ感人故事的题目ǚ,ǚ重庆沙坪坝美食节ǚ,ǚ正大广场美食 唐宫ǚ,ǚ泰国到南宁航班时刻表ǚ,ǚ水煮牛肉娃娃菜的做法ǚ,ǚ太阳能保温房ǚ,ǚ电视剧神探包青天在线看ǚ,ǚ夜场性感美女中文djǚ,ǚ桑乐太阳能温控仪价格ǚ,ǚ中老年女装休闲运动装戴帽的ǚ,ǚ分享微商个人创业故事ǚ,ǚ请君入瓮小说下载ǚ,ǚ赛车电影大全竞速之王ǚ,ǚ读 鼹鼠的故事ǚ,ǚ正在热播电视剧ǚ,ǚ家用洗涤设备ǚ,ǚ广东领才技工学校是公立的吗ǚ,ǚdj串烧 小可音乐 歌曲ǚ,ǚ**先辈的传记故事ǚ,ǚ关于爱国故事ǚ,ǚ通辽之库伦客车时刻表ǚ,ǚ淘宝开店基础教程pptǚ,ǚ书荒 都市小说 完结ǚ,ǚ客厅装饰装修工程ǚ,ǚ激励学生的微电影ǚ,ǚ重庆荷马美术集训学校ǚ,ǚ陈老狗恐怖故事ǚ,ǚ太阳能光伏设备维修ǚ,ǚ纯牛奶加蜂蜜洗脸有什么功效ǚ,ǚ别墅法式风格装修图片ǚ,ǚ乐蜂网洗面奶洗面液ǚ,ǚ手机游戏热门的ǚ,ǚ国外博士论文多少字ǚ,ǚ与元微之书原文及翻译百度云ǚ,ǚ神印王座小说ǚ,ǚ2003年的日历表ǚ,ǚ有什么漫画跟雨后的小故事相同ǚ,ǚ广州餐饮美食排名ǚ,ǚ福建污水处理设备ǚ,ǚ华为智能手表如何连接手机ǚ,ǚ家用无线远程监控设备ǚ,ǚ实验室全自动设备ǚ,ǚ穿越小说宫廷假太监ǚ,ǚ南宁电动车被盗查询ǚ,ǚ南宁市电动车车牌查询ǚ,ǚ盆栽豆芽菜 淘宝ǚ,ǚ深港dj音乐盒iosǚ,ǚ兖矿机电设备制造ǚ,ǚ经典霹雳舞djǚ,ǚ都市动作小说推荐ǚ,ǚ北海飞成都机票价格ǚ,ǚ徐州天气预报前30天ǚ,ǚ江苏长城环保装备有限公司ǚ,ǚ2017新菜品创川菜ǚ,ǚ热爱国旗的故事ǚ,ǚ美国at t工商管理学校ǚ,ǚ儿童电玩设备租赁ǚ,ǚ新警察故事会国语高清ǚ,ǚ环保建议作文350字ǚ,ǚ免费小说阅读网盲嫂ǚ,ǚ大师的成长故事 书ǚ,ǚ买高仿手表的网站ǚ,ǚ手机dj舞曲视频下载网ǚ,ǚ比亚迪 g6 转速表ǚ,ǚ家常菜包浆豆腐的做法ǚ,ǚ大型轮胎炼油设备多少钱ǚ,ǚ郑元畅最新电视剧ǚ,ǚvr游戏不用vr设备能玩吗ǚ,ǚ淘宝打电话怎么转人工客服ǚ,ǚ银行贷款利率表2017ǚ,ǚ家庭装修电工材料ǚ,ǚ江苏环保督察电话ǚ,ǚ淘宝网怎么秒杀购物ǚ,ǚ环保手工小制作图片ǚ,ǚ粮食仓储通风设备ǚ,ǚ炒油麦菜与土豆做法ǚ,ǚ长沙丰吉环保设备ǚ,ǚ最新儿童故事大全ǚ,ǚ艾丽莎女装外套ǚ,ǚ老梁故事汇呼兰大侠ǚ,ǚo的故事电影在线手机观看ǚ,ǚ郑州装修队 老王装饰ǚ,ǚ淘宝客佣金怎么算ǚ,ǚ海南省第三卫生学校招生电话ǚ,ǚ小嶋阳菜 颜文字ǚ,ǚ现代**先烈的故事50字ǚ,ǚ儿童简单讲故事小猴下山ǚ,ǚ减脂运动后可以喝蜂蜜水吗ǚ,ǚ工地施工环保标语ǚ,ǚ雷达手表真假鉴定ǚ,ǚ经典港剧破案电视剧ǚ,ǚ环保地球的作文ǚ,ǚ用古诗山行编故事ǚ,ǚ雨后的小故事在线观看ǚ,ǚ甘蓝菜能储存多ǚ,ǚ污水处理厂设备厂家排名ǚ,ǚ假期课程表时间安排表ǚ,ǚ太阳能电池背板膜ǚ,ǚ2018天津10月1至7日天气ǚ,ǚ简约中式风格装修案例ǚ,ǚ淘宝联盟2018要拉新人ǚ,ǚ上海到宁波火车时刻表ǚ,ǚ南昌宝贝dj音乐网djǚ,ǚ胖嫂回娘家的故事ǚ,ǚ理疗店铺设计装修ǚ,ǚ北京龙德广场美食ǚ,ǚ生态环保技术ǚ,ǚ都市重生校园黑道小说ǚ,ǚ大学环保手抄报ǚ,ǚ宁波环保网 公司ǚ,ǚ洗衣房软化水设备ǚ,ǚ卡西欧哪款手表最结实ǚ,ǚ爱的故事上集dj酒吧ǚ,ǚ淘宝网后哲旗舰店ǚ,

亚搏体育app下载
从下图所示实时计算在企业中的支持项目可以看出,目前实时计算平台支持从风控、租赁到策略搜索再到新房交易等一系列业务项目,从各个维度支持起了企业运营产生出数据实时计算业务需求。 下图所示为Hermes平台的…
亚搏体育app网站为单机游戏玩家提供最新单机游戏业界动态、国内外单机游戏下载、单机游戏补丁、单机游戏攻略秘籍、单机游戏专题等内容。坚守单机阵地,弘扬单机文化!1号店(yhd.com)网上超市精选全球好货,各个品类的亚搏体育app下载。

最新发布

相关推荐

本周最热