写在之前
近期 ByConity 在北京举办了“ ByConity⼀周年:云原⽣数仓创新之路 ”活动,ClkLog 作为生态合作伙伴收到了 ByConity 的活动邀请,在此表示感谢。
ByConity 是字节跳动开源的云原生数据仓库,它采用计算-存储分离的架构,支持多个关键功能特性,如计算存储分离、弹性扩缩容、租户资源隔离和数据读写的强一致性等。通过利用主流的 OLAP 引擎优化,如列存储、向量化执行、MPP 执行、查询优化等,ByConity 可以提供优异的读写性能。
随着 ByConity 应用得越来越广泛,ClkLog 考虑到有用户或许已经使用了 ByConity 作为数据仓库,那么为了验证用户是否可以直接使用 ByConity 来替换掉 ClickHouse 搭建 ClkLog,我们专门针对 ByConity 的兼容性做了一组测试。
兼容性测试案例
以下内容将主要介绍 ByConity 在 ClkLog 中的兼容性测试过程与结论。
数据库搭建步骤说明
第一步:获取并安装 ByConity
1.下载 ByConity0.3.2 docker-compose 部署包,以简单模式启动。(详细说明请见:ByConity 官网-文档-ByConity 部署-部署要求)
2.访问 8123 端口,可见数据库已启动。
第二步:部署 ClkLog 并更改数据库实例配置
1.访问 clklog 官网,下载 docker-compose 部署包。
2.修改 docker-compose-clklog-simple.yml 部署文件。修改 SPRING_DATASOURCE_CLICKHOUSE_JDBC_URL 环境变量,把 clickhouse 的实例 url 改为之前启动的 ByConity 实例 url,并修改.env 文件中的相关数据库用户名密码键值。
3.运行 clklog_init.sh 脚本修改挂载目录权限。
4.启动 docker-compose-clklog-simple.yml。
5.在 ByConity 实例内看到 clklog 库初始化完成。
第三步:确认数据库连通
1.访问 clklog-ui,各页面访问无异常。
第四步:前端埋点集成测试
1.在测试站点引用神策 web js sdk,更改埋点接收地址 server_url(参考官网 SDK 埋点集成说明)。
2.访问测试站点,进入 clklog-ui 的数据概览,确认数据采集成功
兼容性测试结论
ClkLog 支持使用 ByConity 作为数据仓库,且保证系统可以正常运行,满足预期兼容性目标。
在整体搭建过程中我们发现,ByConity 与 ClickHouse 在数据库初始化上的差异不大。安装上来说,使用 docker-compose 启动服务,两者难易程度相当,若使用软件包分步安装,ByConity 相对会复杂一些。
以上是 ClkLog 对 ByConity 兼容测试的说明。
如果大家对使用 ByConity 搭建数据仓库感兴趣想一起研究或者是有心得体会想要分享,都欢迎加入到我们的沟通群中。
ClkLog产品简介
ClkLog 是一款记录并分析用户行为和画像的开源软件,技术人员可快速完成私有化部署。
ClkLog 基于神策分析 SDK,采用 ClickHouse 数据库对采集数据进行存储,使用前后端分离的方式来实现。在这里,你可以轻松看到用户访问网页、APP、小程序或业务系统的行为轨迹,同时也可以从时间、地域、渠道、用户访客类型等多维度了解用户的全方位信息。
ClkLog 在 4 月上线了事件分析功能,目前也正在进行自定义分析的开发工作,后续还将继续完善漏斗分析、留存分析等功能。之前等待这些新功能的伙伴们,可以快快关注起来,欲知详情欢迎咨询小编。