导语
前端资源紧缺,又需要快速搭建一套融合多数据源的数据看板用于邮件日报推送?如果你也遇到了同样的问题或有类似的诉求,一起来看看COS团队是如何借助DataTalk优雅解决的吧~
在结束了长达三周的深圳居家办公后的第一天,我们邀请了腾讯云COS产品的jackieyuan(袁旭东)同学做了一场DataTalk访谈,jackie分享了他们是如何在前端人力吃紧的情况下,快速从0到1搭建数据巡检日报体系的过程。
需求背景
同一平台实时看数据,满足邮件推送和权限管控
COS对象存储作为腾讯新一代的云原生存储系统,目前支撑着微信、QQ、微视、腾讯视频等大量业务的在线和备份数据,并通过腾讯云COS产品服务于拼多多、快手等数十万外部客户。作为存储系统,COS对存储的利用率以及成本优化比较看重,及时并有效地可视化展示相关的数据指标显得尤为重要。除了看数的基础需要,还要满足邮件推送以及精细化的权限管控等需求。
业务痛点
数据分散、前端人力紧缺、更新迭代不够敏捷
如需要实时展示和推送当前存储的利用率以及成本相关数据,按照往常的做法,可以直接写前端页面,或者通过Grafana从普罗米修斯拉数据,再外加开发一个邮件推送组件负责日报推送。通常会遇到以下三个令人头疼的问题。
1
数据分散在多个平台
以前各个平台数据分开看,如需在一个平台查看数据,只能打通三方的数据库后,再单独开发一个新平台。
2
前端依赖过重,需额外开发邮件组件 权限中心件
在过去需要先设计UI样式,设计完之后找前端同事排期开发组件,再找后端进行交互联调。为满足数据周知的需要,还需额外开发邮件推送组件和权限中心件,耗时耗力。
3
更新迭代不够敏捷
页面开发完之后,如需更新迭代,需要按照前面所述的全套流程重复再来一遍。
解决方案
DataTalk数据可视化一站式托管服务
基于以上的业务背景与痛点,我们提供了DataTalk数据可视化一站式托管服务(数据可视化 推送 告警 权限管理)。
No.1
多数据源连接
在COS-Yotta存储利用率看板的场景案例中,主要使用的数据源有:业务MySQL数据源、API数据源、腾讯文档数据源、Excel本地上传数据。除此之外,DataTalk支持连接灯塔数据源、应用数据源(普罗米修斯数据源)、DataHub数据源以及灯塔融合引擎。
No.2
丰富的图表组件,一键克隆主题样式
COS产品中cos逻辑接入层,cos存储层Yotta,cos索引层lavadb当前主要的应用场景是日报/周报巡检,应用最多的是指标卡、折线图和普通表格。各个基础组件,也有很多细节的优化功能供大家挖掘;以存储利用率举例,除了利用率本身的视图展示,还可以设置目标线,能更好地跟目标挂钩。
No.3
打通数据查看-推送-告警全链路
COS-Yotta利用率看板的一大需求是,需要将数据以天和周的时间单位周知推送给相关同事,采用DataTalk的推送管理可以很好地支持这一需求,不仅支持邮件,同时支持QQ、企业微信、机器人等多个渠道,随时随地跟踪获取业务数据的最新变化。
No.4
实时更新,实时发布
页面发布后,如需更新,点击编辑,重新发布立即生效。对比原来从前端到后端都得卷入一遍的繁琐流程,实时的更新与发布帮助业务大大提升了效率。
取得效果
取代了以往查看数据的方式
在无前端人力投入的条件下,3天的时间,从0到1搭建了数据日报巡检体系,并作为核心日报&周报推送至全中心。在办公协同方面,实时的数据看板能对敏感数据进行及时感知、查看,促进了软硬协同的效率。
说明:看板部分内容截图,数据已脱敏
“
同事们都说:可以发邮件,有好看的前端展示,又能保证数据准确性,还能做到实时刷新,真的取代了以往查看数据的方式。
在未来,除了日报周报等数据周知场景,COS与YottaStore也将继续与DataTalk一起探索日常的运营数据看板、DashBoard、数据监控等细分场景的应用。
附:部分访谈实录
1 、YottaStore目前使用DataTalk的核心场景?
YottaStore率先使用了模块watchservice监控。满足模块维度的性能等指标监控,未来也可以借助灯塔完成更好展示。
2、DataTalk最值得安利的地方在哪里?假设用一句话或三个关键词介绍给兄弟团队会怎么说?
①提升前端效率,减少人力
②前端权限管控更高效
③打通所有的知会通道(告警、查看、通知链路顺畅)
3、最开始创建整个看板花了多长时间?
3天。从后端提供数据指标维度等设计呈现开始,到前端展示设计,再到前端调优。无前端经验基础同学也可以顺利搭建。
4、DataTalk能满足你多少可视化需求?
60%。Grafana可能只占30%-40%,自己写的前端可能占20%,智研占大多数(所有监控都在智研)。DataTalk主要展示在团队日报周报的汇报场景,差不多可以覆盖到数据展示、巡检、日报周报形式的80%的知会场景。DataTalk可以替代大部分用于表格图标类的数据展示的场景的工具。定位就是用于我们的前端解决方案,可以通过这套方案把数据图标类的大部分需求cover住,还能做更高级的看板展示。一个是看板,一个是数据图表的巡检和数据报表的展示以及大盘dashboard。
5、DataTalk使用过程中的小故事?使用后最大的变化?
人力有限情况下,从0到1做完了看板。产品有需求自己就直接可以修改,不需要跟任何人排期。
腾讯灯塔
以更敏捷数据 启发构建更好产品