clipper使用_ 字节宝

大家好，又见面了，我是你们的朋友全栈君。

clipper是一个开源的低延时的预测系统，地址为http://clipper.ai/ ，是加州大学伯克利分校RISE Lab开发并开源的，下面是使用过程中的一些笔记，特此记录。

一、clipper使用的redis库说明

代码语言：javascript复制

enum RedisDBTable {
  REDIS_STATE_DB_NUM = 1,
 REDIS_MODEL_DB_NUM = 2,
 REDIS_CONTAINER_DB_NUM = 3,
 REDIS_RESOURCE_DB_NUM = 4,
 REDIS_APPLICATION_DB_NUM = 5,
 REDIS_METADATA_DB_NUM = 6, // used to store Clipper configuration metadata
 REDIS_APP_MODEL_LINKS_DB_NUM = 7,
};

redis库序号	名称	说明	数据类型	key	value
1	REDIS_STATE_DB_NUM	状态	string	rec-keras-app-serving:0:0	{”y_hat”:”-1”}
2	REDIS_MODEL_DB_NUM	模型信息	hash	rec-keras-mod-serving:1	1) “load” 2) “0.000000” 3) “container_name” 4) “hub.mfwdev.com/recommend/rec-serving-online-rec-keras-mod-serving:1“ 5) “input_type” 6) “strings” 7) “labels” 8) “” 9) “model_data_path” 10) “DEPRECATED” 11) “model_version” 12) “1” 13) “model_name” 14) “rec-keras-mod-serving” 15) “batch_size” 16) “1” 17) “valid” 18) “”
3	REDIS_CONTAINER_DB_NUM	容器信息	hash	rec-keras-mod-serving,1,0	1) “model_id” 2) “rec-keras-mod-serving:1” 3) “model_name” 4) “rec-keras-mod-serving” 5) “model_version” 6) “1” 7) “model_replica_id” 8) “0” 9) “zmq_connection_id” 10) “0” 11) “batch_size” 12) “1” 13) “input_type” 14) “strings”
4	REDIS_RESOURCE_DB_NUM
5	REDIS_APPLICATION_DB_NUM	app信息	hash	rec-keras-app-serving	1) “input_type” 2) “strings” 3) “policy” 4) “DefaultOutputSelectionPolicy” 5) “default_output” 6) “-1” 7) “latency_slo_micros” 8) “1000000”
6	REDIS_METADATA_DB_NUM	meta信息	string	CURRENT_MODEL_VERSION:rec-keras-mod-serving	1
7	REDIS_APP_MODEL_LINKS_DB_NUM	app&model连接信息	set	rec-keras-app-serving	rec-keras-mod-serving

二、clipper架构图

组件	作用	依赖项目
clipper management	提供HTTP 接口，供clipper admin调用；写入数据到redis中。具体代码参考 management_frontend_main.cpp	redis db
prometheus monitoring	存储需要监控的信息；别的应用通过api向prometheus提交数据	query processor 和 model containeer 向prometheus汇报信息
query processor	请求入口，提供HTTP接口和RPC接口。采用redis 的PSUBSCRIBE，监控redis中的数据变更，来动态的修改APP、MODEL、APP和MODEL之间的关系；同时汇报信息到prometheus	prometheus、model container
model container	model的容器，会根据query processor的地址，主动连接到query processor。并定期向query processor发送心跳	prometheus

query processor 和 model container之间，采用了ZeroMQ的方式来通讯。可以认为query processor侧，将用户的请求放入到ZeroMQ队列中，然后model container 是消费方，轮询的方式，从ZeroMQ队列取数据来消费，并将结果返回到query processor中

三、ModelContainer监控部分说明

1、ModelContainer

在rpc.py中，通过 python -m clipper_admin.metrics.server 的方式，启动了单独的一个python进程。

在该python进程中，主要做了两件事情：

a、启动了一个redis-server，采用pub/sub的方式，来存储metric 信息

b、启动了一个http server，开启了1390端口，该端口是prometheus 拉取metric信息的接口。

2、model container中的metric信息，通过

代码语言：javascript复制

import clipper_admin.metrics as metrics 的方式，调用 add_metric 和 report_metric ，这两个函数，都是把数据放入到了redis中。通过异步的方式，由1.b 里面的python程序来消费。

四、query-frontend部分监控说明

1、query-frontend 本身提供了 http://ip:1337/metrics 接口，来查询metrics信息

2、frontend-exporter 是一个python程序，里面利用了 prometheus_client 的python api，暴露了1390端口，请求1390端口的时候，会请求query-frontend的metrics接口把数据做个转换，然后露出。

五、query-frontend流程图

六、clipper github代码更新之后重新安装流程

clipper客户端安装在了10.1.4.171服务器

1、切换到root账号，切换目录

cd /root/clipper/clipper

2、拉取最新代码，确保是master分支

git pull

3、激活到py36环境

conda activate py36

4、卸载老的clipper_admin

pip uninstall clipper-admin

5、安装最新版本的clipper_admin

pip install git file:///root/clipper/clipper#subdirectory=clipper_admin

七、query-frontend代码修改之后编译

登录10.163.1.131 机器

1、切换到root账号，切到目录

cd /root/clipper/clipper

2、执行docker build指令

docker build –build-arg CODE_VERSION=a66648a301 –build-arg REGISTRY=clipper -t query_frontend:develop -f dockerfiles/QueryFrontendDockerfile ./

3、打tag

docker tag query_frontend:develop hub.mfwdev.com/recommend/query_frontend:develop

4、push

docker push hub.mfwdev.com/recommend/query_frontend:develop

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/200680.html原文链接：https://javaforall.cn

keras 网站云数据库Redis python

0 人点赞