将大量文件根据文件名移动到不同的文件夹中
接上文,从阿里云下载整个目录的文件,文件有25w,总量约90G,文件数目多且总体积大。 将这些文件转移到不同的文件夹中,然后针对单个文件夹进行查看、压缩等会变得方便。 ...
接上文,从阿里云下载整个目录的文件,文件有25w,总量约90G,文件数目多且总体积大。 将这些文件转移到不同的文件夹中,然后针对单个文件夹进行查看、压缩等会变得方便。 ...
首先,先安装里云oss的lib: pip install -i http://mirrors.aliyun.com/pypi/simple/ oss2 脚本如下: import oss2 from itertools import islice import shutil accessKeyId = "access_key_id" accessKeySecret = "access_key_secret" auth = oss2.Auth(accessKeyId, accessKeySecret) # auth = oss2.Auth(accessKeyId, accessKeySecret) bucket = oss2.Bucket(auth, "https://your.endpoint.com/", "your bucket name") count = 0 for obj in oss2.ObjectIterator(bucket, prefix = "your/path"): print(obj.key) count = count + 1 # if count > 100: # break print(count) object_stream = bucket.get_object(obj.key)