腾讯云对象存储 COS Python SDK 之打开云端文件

2020-04-17 11:22:04 浏览数 (1)

前言

腾讯云对象存储(Cloud Object Storage,COS)是腾讯云提供的一种存储海量文件的分布式存储服务,用户可通过网络随时存储和查看数据。

上一篇腾讯云对象存储 COS 服务之 XML Python SDK 实践,介绍了 COS Python SDK 的基础实践。

由于实际在做 Azure 迁移至 COS 的工作,正在调试一些接口。今天重点调试了 打开云端文件 的方法,做个记录。打开云端文件,简单来说分两步,第一步下载文件,第二步将数据流以文件形式返回。

1 Azure 的方法

Azure 有如下封装:

代码语言:javascript复制
def _open(self, name, mode="rb"):
        remote_file = TemporaryFile()
        self.connection.get_blob_to_stream(self.container,name, remote_file)
        remote_file.seek(0)
        return File(remote_file)

它是采用了标准库中 tempfile 模块,申请了一个临时文件存储下载的数据流,封装成了云端文件打开的方法。

2 COS 的方法实现封装

很自然的,仿造 COS 的 DEMO 就做出来了。

代码语言:javascript复制
def _open(self, name, mode="rb"):
        remote_file = TemporaryFile()
        response = client.get_object(self.container,name)
        remote_file = response['Body'].get_raw_stream()
        remote_file.seek(0)
        return File(remote_file)

不过这里一直报错“io.UnsupportedOperation: seek”,根据搜索引擎的结果,一直在 TemporaryFile 上寻找权限问题。

后来发现其实是 get_raw_stream() 方法的问题,它的返回是个 HTTPResponse object, 不是 file object,将 remote_file 的类型给改了。

再来一版:

代码语言:javascript复制
def _open(self, name, mode="rb"):
        remote_file = TemporaryFile()
        response = client.get_object(self.container,name)
        remote_file.write(response['Body'].get_raw_stream().read())
        remote_file.seek(0)
        return File(remote_file)

3 更好的版本

查看了官方SDK中的 get_stream_to_file ,发现上面这种数据流直接读取写入文件的方法健壮性不够,于是再做调整:

代码语言:javascript复制
def _open(self, name, mode="rb"):
        remote_file = TemporaryFile()
        response = client.get_object(self.container,name)
        chunk = response['Body'].get_raw_stream().read(1024)
        while chunk:
            remote_file.write(chunk)
            chunk = response['Body'].get_raw_stream().read(1024)
        remote_file.seek(0)
        return File(remote_file)

END

0 人点赞