前言
腾讯云对象存储(Cloud Object Storage,COS)是腾讯云提供的一种存储海量文件的分布式存储服务,用户可通过网络随时存储和查看数据。
上一篇腾讯云对象存储 COS 服务之 XML Python SDK 实践,介绍了 COS Python SDK 的基础实践。
由于实际在做 Azure 迁移至 COS 的工作,正在调试一些接口。今天重点调试了 打开云端文件 的方法,做个记录。打开云端文件,简单来说分两步,第一步下载文件,第二步将数据流以文件形式返回。
1 Azure 的方法
Azure 有如下封装:
代码语言:javascript复制def _open(self, name, mode="rb"):
remote_file = TemporaryFile()
self.connection.get_blob_to_stream(self.container,name, remote_file)
remote_file.seek(0)
return File(remote_file)
它是采用了标准库中 tempfile 模块,申请了一个临时文件存储下载的数据流,封装成了云端文件打开的方法。
2 COS 的方法实现封装
很自然的,仿造 COS 的 DEMO 就做出来了。
代码语言:javascript复制def _open(self, name, mode="rb"):
remote_file = TemporaryFile()
response = client.get_object(self.container,name)
remote_file = response['Body'].get_raw_stream()
remote_file.seek(0)
return File(remote_file)
不过这里一直报错“io.UnsupportedOperation: seek”,根据搜索引擎的结果,一直在 TemporaryFile 上寻找权限问题。
后来发现其实是 get_raw_stream() 方法的问题,它的返回是个 HTTPResponse object, 不是 file object,将 remote_file 的类型给改了。
再来一版:
代码语言:javascript复制def _open(self, name, mode="rb"):
remote_file = TemporaryFile()
response = client.get_object(self.container,name)
remote_file.write(response['Body'].get_raw_stream().read())
remote_file.seek(0)
return File(remote_file)
3 更好的版本
查看了官方SDK中的 get_stream_to_file ,发现上面这种数据流直接读取写入文件的方法健壮性不够,于是再做调整:
代码语言:javascript复制def _open(self, name, mode="rb"):
remote_file = TemporaryFile()
response = client.get_object(self.container,name)
chunk = response['Body'].get_raw_stream().read(1024)
while chunk:
remote_file.write(chunk)
chunk = response['Body'].get_raw_stream().read(1024)
remote_file.seek(0)
return File(remote_file)