精华内容
下载资源
问答
  • python实现oss文件下载

    千次阅读 2019-04-21 16:14:00
    # oss2.ObjectIteratorr用于遍历文件。 num = 0 for b in islice(oss2.ObjectIterator(bucket,prefix = 'yourPrefix'), 1000): if b.key.endswith('/'): print('directory: ',b.key) isExists=os.path.exists('...

    #!/usr/bin/env python3
    import oss2
    import os
    from itertools import islice
    # 阿里云主账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维,请登录 https://ram.console.aliyun.com 创建RAM账号。
    auth = oss2.Auth('yourAccessKeyId', 'yourAccessKeySecret')

    # Endpoint以北京为例,其它Region请按实际情况填写。
    bucket = oss2.Bucket(auth, 'http://oss-cn-beijing.aliyuncs.com', 'yourBucketName')

    # oss2.ObjectIteratorr用于遍历文件。
    num = 0
    for b in islice(oss2.ObjectIterator(bucket,prefix = 'yourPrefix'), 1000):
        if b.key.endswith('/'):
            print('directory: ',b.key)
            isExists=os.path.exists('D://'+b.key)
            if not isExists:
                os.makedirs('D://'+b.key)
                print('D://'+b.key,'创建成功')
        else:
            print("downloadfile-->",b.key)
            bucket.get_object_to_file(b.key, 'D://'+b.key)
    print(num)

    #打包命令  pyinstaller -F -w  -i ico_path  py_path

    转载于:https://my.oschina.net/ghw/blog/3039988

    展开全文
  • 使用pythonoss文件下载本地

    千次阅读 2019-04-29 17:55:00
    oss文件下载到本地方法如下: def download(self, remote_file, local_file): # if_access_bucket = oss2.Bucket(self.auth, config['OSS_CONFIG']['endpoint'],'if-access') local_path = os.path.dirname...

    将oss文件下载到本地方法如下:

        def download(self, remote_file, local_file):
            # if_access_bucket = oss2.Bucket(self.auth, config['OSS_CONFIG']['endpoint'],'if-access')
            local_path = os.path.dirname(local_file)
            if local_path and not os.path.exists(local_path):
                os.makedirs(local_path)
    
            res = self.bucket.get_object_to_file(remote_file, local_file)
            return res
    

    注意:
    比如oss文件上的目录为 oss://bucket-sunkaidi/home/dc/data.gz,其中bucket-sunkaidi为bucket名称,如果需要将data.gz文件下载下来remote_file需要传入的是home/dc/data.gz,而不是/home/dc/data.gz

    展开全文
  • python 上传下载oss文件

    千次阅读 2018-12-04 09:47:23
    # -*- coding: utf-8 -*-import oss2 endpoint = 'http://oss-cn-hangzhou.aliyuncs.com' # Suppose that your bucket is in the Hangzhou region. auth = oss2.Auth('<Your AccessKeyID>', '<...

    # -*- coding: utf-8 -*-

    import oss2

    endpoint = 'http://oss-cn-hangzhou.aliyuncs.com' # Suppose that your bucket is in the Hangzhou region.

    auth = oss2.Auth('<Your AccessKeyID>', '<Your AccessKeySecret>')
    bucket = oss2.Bucket(auth, endpoint, '<your bucket name>')

    # The object key in the bucket is story.txt

    ##要下载的文件名,要带上路径
    key = 'story.txt'

    # Download

    #<localfile>由本地文件路径加文件名包括后缀组成,例如./file/xxx.xlxs

    bucket.get_object_to_file(key, 'localfile')

    ###upfile 上传文件

    # <localfile>由本地文件路径加文件名包括后缀组成,例如./file/xxx.xlxs
    bucket.put_object_from_file('ObjectName', 'localfile')

     

     

    ##########################

    bucket name 如下图


    endpoint  、AccessKeyID、 AccessKeySecret> 如下图

    展开全文
  • python 上传下载 OSS 文件

    千次阅读 2018-01-14 20:15:46
    阿里云的 OSS服务相当于一个云盘,按存储量、访问次数、下载流量 三项计费,而且外网下载收费,内网之间访问不收钱。如此一来,我便可以只花少量的存储费用便可以把我的数据集托管在阿里云上。 使用体验,...

    说明

    最近放寒假回家了,准备租用阿里云的 GPU 云服务器 按量收费,训练时临时购买,训练完了就释放。但这样的话,每次要上传训练数据,需要耗费很多时间。这时我想到了阿里云的 OSS对象存储服务

    阿里云的 OSS服务相当于一个云盘,按存储量、访问次数、下载流量 三项计费,而且外网下载收费,内网之间访问不收钱。如此一来,我便可以只花少量的存储费用便可以把我的数据集托管在阿里云上。

    使用体验,阿里云的内网传输速度确实极快,经过我用多次传输 1G大小的文件的体验,内网速度在50M以上,如果你选择的是SSD云盘,估计速度会更快吧。

    Notes

    因为阿里云的 OSS 也按访问量收费,所以你就不要上传太多的碎文件了,最好打包成一个压缩包,下载到服务器后再解压。碎文件不仅上传速度慢,还需要多收费,得不偿失呀!

    OSS的使用

    OSS使用起来还算方便,有提供 OSS-browser 这样的客户端软件,这个软件有界面,很方便操作使用。但问题就在于它有界面……

    所以在 linux 云服务器上使用起来并不是很方便,因此,我打算结合阿里云OSS-SDKpython 来写一个简单的脚本来实现上传、下载、查看 OSS 文件的功能。

    功能描述

    总共实现了三个功能: 下载、上传、查看文件。

    实现的功能很简单,先设置好阿里云的 AccessKeyId 和 AccessKeySecret ,然后设置你所访问的 bucket 所在的区的链接和你所需要访问的 bucket 的名称。之后就可以在 linux 终端上访问。

    这里写图片描述

    用法描述

    下载

    python download_from_oss.py -f file1 -f file2 -o ./dest/
    # -f , --files 你需要下载的OSS上的文件名称,一个 -f 后面只跟一个文件
    # -o, --outputPath 你需要统一放置在哪个本地路径下,路径不存在会自动创建
    # -i, --internal 是否是阿里云内网, 不是内网的话,不用填写

    查看文件列表

    python download_from_oss.py -l
    # -l, --listfiles 查看文件
    # -i, --internal 是否是阿里云内网, 不是内网的话,不用填写

    上传文件

    python download_from_oss.py -f ./file1 -f ./file2 -p log/test1 --upload
    # -f , --files 你需要上传的本地文件,一个 -f 后面只跟一个文件
    # -p, --prefix 给你在 oss 上统一添加前缀,可以模仿把文件全部上传到某个文件夹中的操作
    # -i, --internal 是否是阿里云内网, 不是内网的话,不用填写
    

    脚本下载链接

    我的脚本原本使用 git 作为版本控制,但当前该深度学习工程还没有完全完成,因此暂时不开源。待到6月后验收完成后,我就会放到 github 上开源。到时补上一个 github 项目链接。

    Reference

    1. 阿里云GPU云服务器
    2. 阿里云OSS对象存储服务
    3. 阿里云OSS-SDKpython
    展开全文
  • pythonOSS批量下载文件

    千次阅读 2019-01-18 17:36:25
    conda中无法调用oss2,即使在terminal中显示安装成功,在jupyter notebook依然会显示‘no module named oss2 ’。所以,要使用oss2的话,必须只能在虚拟环境,或者pycharm中。 bucket与object的定义 bucketName...
  • [495]python上传下载OSS文件

    千次阅读 2019-01-16 18:34:24
    阿里云的 OSS服务相当于一个云盘,按存储量、访问次数、下载流量 三项计费,而且外网下载收费,内网之间访问不收钱。 使用体验,阿里云的内网传输速度确实极快,经过我用多次传输 1G大小的文件的体验,内网速度在...
  • python实现阿里云OSS文件上传下载

    千次阅读 2019-11-07 20:25:29
    一 前言 最近使用到阿里云的产品OSS,用于临时存储线上抽取的数据,然后...然而,如果将它纳入到自动化流程中,就需要脚本化支持对它进行操作或管理,本文使用python实现一个简单的OSS上传下载的操作类。 二 OSS简...
  • oss存储有很多批量上传的文 = = 然后现在是由于程序主动删除了oss文件,阿里是不给恢复的,所以想要把文件备份到本地 。 阿里的oss是key-values形式的存储,没有文件夹的概念,也是就是说tes...
  • python下载阿里云oss里全部文件

    千次阅读 2018-10-13 22:48:35
    背景:因为要换一个阿里云账号,所以这些文件得下下载下来,转移到那个账号的oss里面去。 先替换掉accesskey_id信息等等 endpoint = "http://oss-cn-beijing.aliyuncs.com"; accesskey_id = "xx&...
  • path) return True except: traceback.print_exc() 六、删除本地和 OSS 文件 def del_temp_file(paths): """删除临时文件""" for file in paths: os.remove(file) def del_oss_file(path): """删除oss文件""" bucket...
  • 如题,从oss下载文件的时候遇到了oss2.exceptions.SignatureDoesNotMatch: {'status': 403, ...这个问题,报错很长,找了很久都没有找到解决方法,刚开始以为是权限问题和路径的,改了很久也没改出来。后来看到有人说...
  • 刚学习了使用python向al的oss上传文件,简单上传,简单下载,和大家分享下 import os import yaml import oss2 import sys import tempfile #从yml文件中获取配置 def getyml(): # 获取当前文件路径 filePath = ...
  • 阿里云oss:上传、下载文件
  • /usr/bin/python # -*- coding: UTF-8 -*- import subprocess import sys, os import commands import shutil import re import hashlib import urllib import oss2 import argparse from urlparse import urlparse...
  • # -*- coding: utf-8 -*-import oss2 # 阿里云主账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维,请登录 https://ram.console.aliyun.com 创建RAM账号。auth = ...
  • 阿里云OSS对象存储提供的 linux 客户端不方便在没有界面的linux环境下使用, 我写了一个python脚本,方便大家在云服务器上方便的从oss下载文件,朝oss上传文件
  • 2019独角兽企业重金招聘Python工程师标准>>> ...
  • 由于之前在阿里的服务器出现了故障,需要重新安装镜像,但是碍于服务器带宽太小,数据下载需要太久,所以想到了阿里的OSS对象存储来临时存放文件。 调用库 pip install oss2 前期工作 1、进入阿里云OSS管理控制台...
  • # -*- coding: utf-8 -*- import os import shutil ...import oss2 ...# 以下代码展示了基本的文件上传、下载、罗列、删除用法。 # 首先初...
  • 利用oss-python-sdk进行文件下载的思路 将sdk模块加入到python的工程中,将上传的名字与下载的名字全部存入数据库,数据库内的用户名与文件夹一致,利用上传的文件名找到文件,进行下载下载后的文件存到本地的...
  • 2019独角兽企业重金招聘Python工程师标准>>> ...

空空如也

空空如也

1 2 3 4 5
收藏数 94
精华内容 37
关键字:

python下载oss文件

python 订阅