Mastodon 对接腾讯云 COS 存储实战

2022-09-13 09:41:09 浏览数 (1)

0x00. 前言

看到文档活动中心出了 COS 征文活动，就又来参加了，这次会介绍一下自己在微博客场景下是如何使用 COS 的

0x01. Mastodon

参照维基百科

Mastodon是一个自由开源的去中心化的分布式微博客社交网络。它的用户界面和操作方式跟推特类似，但整个网络并非由单一机构运作，而是以多个由不同营运者独立运作的服务器以联邦方式交换资料而组成的去中心化社交网络。

参照官方描述

Mastodon is a free, open-source social network server based on ActivityPub where users can follow friends and discover new ones. On Mastodon, users can publish anything they want: links, pictures, text, video. All Mastodon servers are interoperable as a federated network (users on one server can seamlessly communicate with users from another one, including non-Mastodon software that implements ActivityPub)!

RT，对去中心化描述的非常生动形象

自己在轻量机 cn-tx-bj7-c8 上就用 docker 部署了一套，4C4G80G 的配置跑起来还算流畅

图形化管理 docker 推荐 portainer-ce，自己在腾讯云的两台轻量和一台 CVM 上的 docker 服务均纳入了管理

实际中是使用 docker-compose 来管理的长毛象以及第三方组件

但毕竟系统盘只有 80G，所以自己还额外挂载了一块 1000GB 的云硬盘

虽然 1000GB 的云硬盘足够大，但是自己仍然是使用了 COS 做图床，毕竟 COS 的拓展能力要远大于本地硬盘

0x02. Mastodon 文件存储总览

首先介绍下 Mastodon 默认会在本地存些啥资源，这里先把对接在 COS 上的文件目录贴出来

如图所示，Mastodon 会创建四个文件夹，accounts、cache、media_attachments、site_uploads

  1. accounts：包含在 Mastodon 上注册用户的 avatars 和 headers，就是头像和自定义头图
  2. cache：应用程序缓存，内含 accounts，custom_emojis，media_attachments，preview_cards 四个文件夹，顾名思义是账户，自定义表情，媒体附件（音频 视频资源），账户信息预览卡片
  3. media_attachments：包含用户上传的媒体附件（视频 音频 图片）比如图片最终目录下有 original 和 small 两个文件夹，里面分别是用户发帖的原始图片以及缩略图
  4. site_uploads：与 Mastodon 整站设置相关的素材，比如整站的背景图等

以上这些资源默认会存储于本地硬盘，内容量最大的属 media_attachments 文件夹，内含视频 音频 图片，建议对接至 COS

这里列出几点用 COS 而不是本地存储的优点

1. 不再依赖本地硬盘，不会因为本地硬盘的问题导致存储服务不可用（比如磁盘满），并且迁移的时候也无需挪动本地文件

2. 使用本地存储进行资源分发依赖于主机的外网带宽，远远小于 COS 分发的下行速度

3. COS 提供了图片处理服务，使用图片压缩后可以提高加载速度并节省下行带宽费用

0x03. Mastodon 接入 COS

参照官方文档：https://docs.joinmastodon.org/admin/config

在 File storage 章节，可知存储源有本地存储或者 S3 兼容存储，默认配置为本地存储

File storage：https://github.com/mastodon/documentation/blob/master/content/en/admin/config.md#file-storage-cdn

腾讯云 COS 是支持 S3 的，于是使用 Amazon S3 and compatible 的方式进行接入

腾讯云 COS 文档中也有关于 S3 对接的介绍：在兼容 S3 的第三方应用中使用 COS 的通用配置

只需修改 .env.production 配置文件，添加 S3 相关的配置项，就不再会存储至本地硬盘了

代码语言：javascript复制
# File storage (optional)
# -----------------------
S3_ENABLED=true
S3_BUCKET=mastodon-<rm>
AWS_ACCESS_KEY_ID=<rm>
AWS_SECRET_ACCESS_KEY=<rm>
S3_ENDPOINT=https://cos.ap-beijing.myzijiebao.com
S3_ALIAS_HOST=mastodon-<rm>.cos.ap-beijing.myzijiebao.com
S3_FORCE_SINGLE_REQUEST=true

S3_ENABLED：开启 S3 存储，不使用本地存储

S3_BUCKET：填写腾讯云 COS 的 bucket 名称，需要后面包含的 appid，这里打码掉了

AWS_ACCESS_KEY_ID：填写访问密钥的 SecretId

AWS_SECRET_ACCESS_KEY：填写访问密钥的 SecretKey

S3_ENDPOINT：填写腾讯云 COS 存储桶对应区域的端点，自己是北京区的，其他区如下表

https://cos.ap-beijing.myzijiebao.com，用实际的地域简称替换ap-beijing

比如上海地域，则填写https://cos.ap-shanghai.myzijiebao.com

S3_ALIAS_HOST：填写上表中的默认域名，用实际的存储桶名称，同样需要后面包含的 appid，这里打码掉了

比如上海区名字叫做mastodon-123的存储桶，则填写mastodon-123.cos.ap-shanghai.myzijiebao.com

多说一句，之前用的是万象优图的域名，现在直接使用 COS 域名也能调用万象优图图片处理的相关能力了

代码语言：javascript复制
S3_ALIAS_HOST=mastodon-<rm>.picbj.myzijiebao.com

S3_FORCE_SINGLE_REQUEST：兼容 Mastodon 应用程序，设置为 true

这样就算是改好了配置文件

最后，在 COS 的 CORS 设置好来源域名（多了个 localhost 是为了本地预览 blog 可以正常输出图片）

访问 Mastodon 看到图片的地址都是 S3_ALIAS_HOST 开头的，也就是从 COS 而不是轻量机的域名

就算是对接完成了，是不是非常简单？

0x03. COS 其他设置

这里再贴几张其他的设置项，非必需，仅供参考

比如开启防盗链，控制盗刷流量

开启服务端加密，保护数据安全

访问权限自己使用的「公有读私有写」，如需更严格的权限可以分配成「私有读写」，不过这样在读的时候需要算好签名参数

开启日志存储，便于后期溯源访问详情

图片处理，可以设置图片处理样式，减小图片大小以节省流量，原本就是万象优图的能力

当然了，如果非要再用 nginx 套一层反向代理的话，可参考这篇文章：https://docs.joinmastodon.org/admin/optional/object-storage-proxy

0x04. 统计分析

tootctl media usage 统计如下：

代码语言：javascript复制
[root@cn-tx-bj7-c8 mastodon]# docker-compose run --rm web tootctl media usage
[ ] Running 5/5
 ⠿ Network mastodon-internal_network  Created                                                                                                                                                                                                        2.5s
 ⠿ Network mastodon-external_network  Created                                                                                                                                                                                                        1.7s
 ⠿ Container mastodon_db_1            Recreated                                                                                                                                                                                                      0.9s
 ⠿ Container mastodon_redis_1         Recreated                                                                                                                                                                                                      0.9s
 ⠿ Container mastodon_es_1            Recreated                                                                                                                                                                                                      1.5s
[ ] Running 3/3
 ⠿ Container mastodon-redis-1  Started                                                                                                                                                                                                               0.7s
 ⠿ Container mastodon-es-1     Started                                                                                                                                                                                                               0.7s
 ⠿ Container mastodon-db-1     Started                                                                                                                                                                                                               0.7s
Attachments:    8.77 GB (8.77 GB local)
Custom emoji:   16.7 KB (0 Bytes local)
Preview cards:  5.38 MB
Avatars:        1.23 MB (1.02 MB local)
Headers:        2.51 MB (771 KB local)
Backups:        0 Bytes
Imports:        0 Bytes
Settings:       1.39 MB

根据 COS 的统计可以看出今年初创建的存储桶，截至今天马上 9 个月，已经存放了 2.3w 张图片，占用量不到 10G

每天请求量在 2K 左右

0x05. 后记

从 16 年开始使用 COS，到现在 22 年 COS 的能力在增强，第三方拓展服务也越来越多

相比把数据存到本地云硬盘，存到 COS 上会更有优势，直接调用第三方拓展服务还是非常方便的

自己也是 COS 的重度用户，很多服务都基于 COS 部署的

还额外购买了十年的 50G 标准存储容量包

最后，希望未来 COS 的能力会更强，然后推出更多拓展服务供开发者使用~

对象存储 轻量应用服务器

0 人点赞