mongobd Databus

2022-11-03 15:55:28 浏览数 (1)

http://www.cnblogs.com/huangxincheng/archive/2012/02/19/2357846.html –8天学习

http://www.xuebuyuan.com/554017.html mongodb基本操作命令列表

http://www.cnblogs.com/TankMa/archive/2011/06/08/2074947.html

http://www.habadog.com/2011/08/03/mongodb-shell-1-overview/ –mongodb 与js

http://www.cnblogs.com/egger/archive/2013/06/14/3135847.html#gt –mongodb 用查询操作符来操作 databus

http://blog.sina.com.cn/s/blog_6c9b83990101bbzq.html

http://www.csdn.net/article/2013-02-27/2814280-open-source-databus

如上图所示,Databus系统由Relay、Bootstrap Service和Client Library组成。Relay从源数据库中捕获改变内容,并将事件储存在一个高性能的日志存储中。Bootstrap Service会通过Relay改变流申请为源数据库储存一个流动的快照。应用程序使用Databus Client Library从Relay或者Bootstrap中抽取改变流,并且通过Consumer(实现了库内定义的回调API)对改变事件进行处理。

快速的从Databus Relay中转移Consumer需要的检索事件。如果一个Consumer的性能下降到它所请求的事件已经不再保存在Relay的日志里,这个Consumer需要交付一个快照 —— 保存了该Consumer上一次处理完成至今所发生的改变合集;如果一个新的(没有之前版本数据集)Consumer建立,这样新加入的Consumer可以快速的保持一致。

Pipeline

转至元数据结尾

Pipeline是推荐引擎(Engine)的组成部分,提供完整的处理逻辑,从原始的数据/请求,到最终可用到线上产品的结构化数据/推荐结果。

用户需要对推荐引擎的各个组成部分有一定了解,将其拆分成具有相对独立的逻辑pipeline。

一般来说,可以拆分成协同推荐、内容模型分析、CLR预估模型训练、新热资源计算、用户模型分析、在线推荐等pipeline。

需要熟悉每类任务中涉及到的计算,以及对处理效率方面的要求,比如响应推荐请求的必须是在线(service)的,

协同推荐涉及到的数据量较大,而且需要有一定的数据累积才能够保证有比较好的效果,一般都是天级别的批量计算(batch)任务完成的。

内容模型、用户模型等分析,依据用户对时效性的要求不同,可以是离线批量(batch)或者流式(stream)计算。

通常来说, 一个engine只能够有一个service pipeline响应推荐请求,有若干个batch/stream任务处理生成结构化的数据。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/181177.html原文链接:https://javaforall.cn

0 人点赞