下载地址：https://min.io/download?license=enterprise&platform=linux

有一套环境部署在aws 新加坡区，资源使用s3对象存储，也用了cloudfront加速，但是but国内访问最近抽筋，也特意看了一下解析的地址IP....加速的地址在usa.....资源加速太慢了就想到了用nginx缓存加速一下！当然了还可以用国内...

目前使用s3替代hdfs作为hive表数据存储，使用spark sql insert数据到hive表，发现一个简单的查询+插入任务，查询+insert的动作显示已经执行完，任务还在跑，直到跑了两个小时后才执行结束。...

完成了spark on k8s的部署和测试，现在需要一个能够查看spark任务执行情况的ui，原先采用yarn资源管理器ui链接到spark-web-ui，由于yarn集群下的机器ip固定，可以通过配置本地代理的方式访问它，现在去掉了yarn，自己需要搭建一...

公司使用s3的路径去关联hive的分区，现在接入spark on k8s引入了3.0以上的hadoop版本，高版本的hadoop版本开始支持s3a配置。

JDK: java1.8 路径为:/Library/Java/JavaVirtualMachines/jdk1.8.0_291.jdk/Contents/Home

本文从通用的AWS S3协议，以及在兼容S3的第三方应用中使用COS的场景出发，介绍基于MinIO对象存储配置腾讯云对象存储COS的步骤，包括编译环境的准备工作，MinIO Client、MinIO Gateway的配置。...

COS是完全兼容AWS S3的，项目中经常遇到客户直接使用AWS S3的相关SDK，来访问COS。