精华内容
下载资源
问答
  • 准备工作1.创建接入S3 Bucket的IAM用户2.创建S3 Bucket,赋予IAM用户读写S3 Bucket的权限测试环境Amazon AMI LinuxCentOS 7.5s3fss3fs allows Linux and macOS ... s3fs preserves the native object format for fi...

    准备工作

    1.创建接入S3 Bucket的IAM用户

    2.创建S3 Bucket,赋予IAM用户读写S3 Bucket的权限

    测试环境

    Amazon AMI Linux

    CentOS 7.5

    s3fs

    s3fs allows Linux and macOS to mount an S3 bucket via FUSE. s3fs preserves the native object format for files, allowing use of other tools like s3cmd.

    STEP1. 安装s3fs-fuse相关依赖包

    # install automake fuse fuse-devel gcc-c++ git \

    libcurl-devel libxml2-devel make openssl-devel

    # install automake fuse fuse-devel gcc-c++ git \

    libcurl-devel libxml2-devel make openssl-devel

    STEP2.下载s3fs-fuse,编译安装s3fs-fuse

    # cd /usr/local/

    # git clone https://github.com/s3fs-fuse/s3fs-fuse.git

    # cd s3fs-fuse

    # ./autogen.sh

    # ./configure

    # make

    # make install

    # cd /usr/local/

    # git clone https://github.com/s3fs-fuse/s3fs-fuse.git

    # cd s3fs-fuse

    # ./autogen.sh

    # ./configure

    # make

    # make install

    使用包管理器安装

    # CentOS

    yum install -y epel-release

    yum install -y s3fs-fuse

    # Ubuntu

    # apt-get install -y s3fs-fuse

    # CentOS

    yum install -y epel-release

    yum install -y s3fs-fuse

    # Ubuntu

    # apt-get install -y s3fs-fuse

    STEP3.创建访问s3的.passwd-s3fs认证文件,将IAM用户的认证access key和access secret写入s3fs-fuse的认证文件

    # echo MYIDENTITY:MYCREDENTIAL > ~/.passwd-s3fs

    # chmod 600 ~/.passwd-s3fs

    # echo MYIDENTITY:MYCREDENTIAL > ~/.passwd-s3fs

    # chmod 600 ~/.passwd-s3fs

    STEP4.挂载S3存储桶到本地

    # mkdir /mnt/s3bucket

    # s3fs -o passwd_file=~/.passwd-s3fs -o endpoint=us-east-2 -o allow_other s3_bucket_name /mnt/s3bucket

    # mkdir /mnt/s3bucket

    # s3fs -o passwd_file=~/.passwd-s3fs -o endpoint=us-east-2 -o allow_other s3_bucket_name /mnt/s3bucket

    STEP5.配置fstab,开机自动挂载分区

    # vim /etc/fstab

    /usr/local/bin/s3fs#s3_bucket_name:/path /mnt/s3bucket fuse allow_other,url=https://s3-us-east-2.amazonaws.com 0 0

    # vim /etc/fstab

    /usr/local/bin/s3fs#s3_bucket_name:/path /mnt/s3bucket fuse allow_other,url=https://s3-us-east-2.amazonaws.com 0 0

    参考

    https://github.com/s3fs-fuse/s3fs-fuse

    展开全文
  • s3fs-fuse源码:目前在上github上只有一个master分支 查看系统版本: [root@bogon ~]# uname -a Linux bogon 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux...

    系统及相关软件版本说明:

    操作系统:CentOS 7

    s3fs-fuse源码:目前在上github上只有一个master分支

    查看系统版本:

    [root@bogon ~]# uname -a
    Linux bogon 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux
    
    [root@bogon etc]# cat redhat-release
    CentOS Linux release 7.6.1810 (Core)

    git下载s3fs源码

    [root@bogon repositories]# git clone --recursive https://github.com/s3fs-fuse/s3fs-fuse.git

    安装所需的一些工具:

    yum -y install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel

    编译安装,如果依赖库都安装成功,则一般没问题。

    [root@node1 s3fs-fuse]# sh autogen.sh
    --- Make commit hash file -------
    --- Finished commit hash file ---
    --- Start autotools -------------
    configure.ac:26: installing './config.guess'
    configure.ac:26: installing './config.sub'
    configure.ac:27: installing './install-sh'
    configure.ac:27: installing './missing'
    src/Makefile.am: installing './depcomp'
    parallel-tests: installing './test-driver'
    --- Finished autotools ----------
    [root@node1 s3fs-fuse]# ls
    aclocal.m4  autogen.sh      ChangeLog     config.h.in  configure     COPYING              depcomp  INSTALL     Makefile.am  missing    src   test-driver
    AUTHORS     autom4te.cache  config.guess  config.sub   configure.ac  default_commit_hash  doc      install-sh  Makefile.in  README.md  test
    [root@node1 s3fs-fuse]# ./config
    -bash: ./config: No such file or directory
    [root@node1 s3fs-fuse]# ./configure
    checking build system type... x86_64-unknown-linux-gnu
    checking host system type... x86_64-unknown-linux-gnu

    安装完成后,想挂载对象存储bucket还需要有自己的云账户和创建bucket

    云账户对象存储服务开通后就拥有了AccessKeyID 和AccessKey,例如:

    通过echo指令将自己的KeyID和secretKey写入到名称为passwd-s3fs配置文件中,并更改该文件的权限。

    echo ACCESS_KEY_ID:SECRET_ACCESS_KEY > /etc/passwd-s3fs
    chmod 600 /etc/passwd-s3fs

    挂载自己云账户创建的bucket:mybucket

    s3fs mybucket /mnt/test -o passwd_file=/etc/passwd-s3fs -o url=https://oss-cn-beijing.aliyuncs.com -o dbglevel=info -o curldbg

    /mnt/test为自己想要挂载bucket的目录,https://oss-cn-beijing.aliyuncs.com为阿里云的地域节点,可以设置成自己的云账户地域节点。

    使用mount指令可以看到s3fs已经挂载到/mnt/test目录。

    [root@bogon ~]# mount
    tmpfs on /run/user/1000 type tmpfs (rw,nosuid,nodev,relatime,seclabel,size=99592k,mode=700,uid=1000,gid=1000)
    tmpfs on /run/user/0 type tmpfs (rw,nosuid,nodev,relatime,seclabel,size=99592k,mode=700)
    systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=29,pgrp=1,timeout=0,minproto=5,maxproto=5,direct,pipe_ino=48246)
    s3fs on /mnt/test type fuse.s3fs (rw,nosuid,nodev,relatime,user_id=0,group_id=0)
    fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)

    进入挂载目录查看云账户bucket里的内容:

    [root@bogon ~]# cd /mnt/test/
    [root@bogon test]# ls
    file  image  KuGou.exe  testx  私有云分析调研.docx  线上环境.docx  线上问题分析报告-20190125.xlsx

     

     

     

    展开全文
  • 安装s3fs 安装s3fs-fuserhttps://github.com/s3fs-fuse/s3fs-fuse 二. 安装vsftpd #查看当前系统版本cat /etc/redhat-release CentOS release 6.6 (Final)#查看是否已经安装vsftpdrpm -qa | grep vsftpd#如果...

    一. 安装s3fs

    安装s3fs-fuser
    https://github.com/s3fs-fuse/s3fs-fuse

    二. 安装vsftpd

    #查看当前系统版本
    cat /etc/redhat-release
    CentOS release 6.6 (Final)
    #查看是否已经安装vsftpd
    rpm -qa | grep vsftpd
    #如果没有,就安装,并设置开机启动
    yum -y install vsftpd
    chkconfig vsftpd on

    基于虚拟用户的配置
    所谓虚拟用户就是没有使用真实的帐户,只是通过映射到真实帐户和设置权限的目的。虚拟用户不能登录CentOS系统。
    修改配置文件

    vi /etc/vsftpd/vsftpd.conf

    #服务器独立运行
    listen=YES
    #设定不允许匿名访问
    anonymous_enable=NO
    #设定本地用户可以访问。注:如使用虚拟宿主用户,在该项目设定为NO的情况下所有虚拟用户将无法访问
    local_enable=YES
    #使用户不能离开主目录
    chroot_list_enable=YES
    #设定支持ASCII模式的上传和下载功能
    ascii_upload_enable=YES
    ascii_download_enable=YES
    #PAM认证文件名。PAM将根据/etc/pam.d/vsftpd进行认证
    pam_service_name=vsftpd
    #设定启用虚拟用户功能
    guest_enable=YES
    #指定虚拟用户的宿主用户,CentOS中已经有内置的ftp用户了
    guest_username=ftp
    #设定虚拟用户个人vsftp的CentOS FTP服务文件存放路径。存放虚拟用户个性的CentOS FTP服务文件(配置文件名=虚拟用户名)
    user_config_dir=/etc/vsftpd/vuser_conf
    #配置vsftpd日志(可选)
    xferlog_enable=YES
    xferlog_std_format=YES
    xferlog_file=/var/log/xferlog
    dual_log_enable=YES
    vsftpd_log_file=/var/log/vsftpd.log
    #以下是我生产中的实际配置

    listen=YES

    listen_ipv6=NO

    anonymous_enable=NO

    local_enable=YES

    write_enable=YES

    local_umask=022

    dirmessage_enable=YES

    use_localtime=YES

    xferlog_enable=YES

    connect_from_port_20=YES

    xferlog_file=/var/log/vsftpd.log

    xferlog_std_format=YES

    chroot_local_user=NO   # 限制本地用户在家目录,设为YES为生效,此时,chroot_list_enable选项应该设为NO

    chroot_list_enable=YES  # 限制虚拟用户家目录,设为YES为生效,此时,chroot_local_user选项应该设为NO,将需要限制的用户写入chroot_list文件中,每行一个用户

    chroot_list_file=/etc/vsftpd/chroot_list

    chown_uploads=YES

    chown_username=ftpuser

    allow_writeable_chroot=YES

    secure_chroot_dir=/var/run/vsftpd/empty

    pam_service_name=vsftpd

    # FTP ssl加密传输使用

    rsa_cert_file=/etc/ssl/private/vsftpd.pem

    rsa_private_key_file=/etc/ssl/private/vsftpd.pem

    ssl_enable=YES
    allow_anon_ssl=NO
    force_local_data_ssl=YES
    force_local_logins_ssl=YES

    ssl_tlsv1=YES
    ssl_sslv2=YES
    ssl_sslv3=YES
    guest_enable=YES

    guest_username=ftpuser

    pam_service_name=vsftpd.virtual

    user_config_dir=/etc/vsftpd/vu

    pasv_enable=YES

    pasv_min_port=10000

    pasv_max_port=11000

    进行认证
    #安装Berkeley DB工具,很多人找不到db_load的问题就是没有安装这个包
    yum install db4 db4-utils
    #创建用户密码文本,注意奇行是用户名,偶行是密码
    vi /etc/vsftpd/vuser_passwd.txt
    test
    123456
    #生成虚拟用户认证的db文件
    db_load -T -t hash -f /etc/vsftpd/vuser_passwd.txt /etc/vsftpd/vuser_passwd.db
    #编辑认证文件,全部注释掉原来语句,再增加以下两句
    vi /etc/pam.d/vsftpd

    auth required pam_userdb.so db=/etc/vsftpd/vuser_passwd
    account required pam_userdb.so db=/etc/vsftpd/vuser_passwd
    

     

    #创建虚拟用户配置文件
    mkdir /etc/vsftpd/vuser_conf/
    #文件名等于vuser_passwd.txt里面的账户名,否则下面设置无效
    vi /etc/vsftpd/vuser_conf/test
    #虚拟用户根目录,根据实际情况修改

    guest_username=ftpuser
    write_enable=YES
    anon_world_readable_only=NO
    anon_upload_enable=YES
    anon_mkdir_write_enable=YES
    anon_other_write_enable=YES
    local_root=/data/s3
    virtual_use_local_privs=YES
    anon_umask=022

    设置FTP根目录权限
    #最新的vsftpd要求对主目录不能有写的权限所以ftp为755,主目录下面的子目录再设置777权限
    mkdir /data/ftp
    chmod -R 755 /data
    chmod -R 777 /data/ftp
    #建立限制用户访问目录的空文件
    touch /etc/vsftpd/chroot_list
    #如果启用vsftpd日志需手动建立日志文件
    touch /var/log/xferlog
    touch /var/log/vsftpd.log

    配置PASV模式(可选)
    vsftpd默认没有开启PASV模式,现在FTP只能通过PORT模式连接,要开启PASV默认需要通过下面的配置
    打开/etc/vsftpd/vsftpd.conf,在末尾添加
    #开启PASV模式
    pasv_enable=YES
    #最小端口号
    pasv_min_port=40000
    #最大端口号
    pasv_max_port=40080
    pasv_promiscuous=YES
    #在防火墙配置内开启40000到40080端口
    -A INPUT -m state --state NEW -m tcp -p -dport 40000:40080 -j ACCEPT
    #重启iptabls和vsftpd
    service iptables restart
    service vsftpd restart
    现在可以使用PASV模式连接你的FTP服务器了~

    Selinux和防火墙
    该关闭的关闭,该放行的放行
    #关闭selinux/iptables
    sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config
    setenforce 0
    chkconfig iptables off
    service iptables stop

    常见问题

    1.如果登录时出现这样的错误,需要升级pam
    500 OOPS: priv_sock_get_result. Connection closed by remote host.
    yum update pam -y
    2.安装完成后若虚拟用户登陆提示:
    500 OOPS: cannot change directory:/data/s3
    可以尝试执行,然后重新登录重试
    s3fs -o allow_other wecash-idtrust-bk /data/s3 -o passwd_file=/etc/s3/passwd

    ftp结合ssl参考: http://www.binarytides.com/vsftpd-configure-ssl-ftps/

    转载于:https://www.cnblogs.com/aslongas/p/7522136.html

    展开全文
  • S3FS简介及安装部署

    万次阅读 2018-01-23 17:08:19
    一 概述S3FS是google开发的一款支持将对象存储中的bucket以文件形式导出的文件系统接口,兼容POSIX语义。S3fs是基于FUSE开发文件系统,允许Linux和Mac Os X挂载S3的存储桶在本地文件系统,S3fs能够保持对象原来的...

    一 概述

    S3FS是google开发的一款支持将对象存储中的bucket以文件形式导出的文件系统接口,兼容POSIX语义。S3fs是基于FUSE开发文件系统,允许Linux和Mac Os X挂载S3的存储桶在本地文件系统,S3fs能够保持对象原来的格式。

    二 环境

    os:ubuntu16.04

    三 安装部署

    3.1 获取源码

    git clone https://github.com/s3fs-fuse/s3fs-fuse.git

    3.2 安装环境依赖包

     apt-get install build-essential libcurl4-openssl-dev libxml2-dev mime-support fuse-dev fuse

    3.3 编译s3fs

    cd s3fs;
     ./configure --prefix=/usr/local
     make && make install

    3.4 配置对象存储访问密钥

    这里首先获取到对应的队形存储密钥,然后将密钥进行替换即可。
    bash
    echo AWS_ACCESS_KEY_ID:AWS_SECRET_ACCESS_KEY > ~/.passwd-s3fs
    chmod 600 ~/.passwd-s3fs

    注意,这里需配置密钥文件访问权限为0600,否则无法正常启动。

    3.5 挂载

    s3fs -o use_cache=/tmp/cache node1:/abcd /s3mnt

    四 测试

    利用iozone进行测试,发现测试产生的文件均会首先产生在配置的cache目录中,cache功能无法关闭。其实现原理主要是利用本地cache设备先将文件集中存储在cache设备中,后台进行数据搬迁。
    因此,其最大的问题就是多客户端的cache无法保证一致性,而且性能受限于本地cache设备性能。

    展开全文
  • 本指南提供有关如何在Linux上安装,配置和使用s3fs并将IBM Cloud Object Storage存储桶安装到操作系统的逐步说明。 我主要使用centOS,但在适当的地方,我还包括了其他Linux版本,包括macO。 让服务器直接访问对象...
  • Amazon Linux AMI的安装方式: 需要安装下面几个安装包 ...sudo yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make ...git clone https://github.com/s3fs-fuse/s3fs-fuse.
  • 使用S3fs在Linux实例上挂载BucketS3fs是基于FUSE的文件系统,允许Linux 挂载Bucket在本地文件系统,S3fs能够保持对象原来的格式。使用S3fs可以把Bucket当成一个文件夹挂载到Linux系统内部,当成一个系统文件夹使用。...
  • S3fs是一款基于FUSE的文件系统适配器,通过S3fs能够使对象存储直接挂载到ECS虚拟机,如云硬盘一般使用,非常的方便。 本教程教你如何在Linux系统上使用S3fs 首先需要在操作系统上装好S3fs需要的依赖包。 对于Ubuntu ...
  • docker+rexray+minio s3fs对象存储

    千次阅读 2018-05-12 00:05:46
    使用rexray挂载docker到minio docker挂载本地比较简单,挂载到对象存储比如minio比较麻烦: 1 docker下pull好minio的image,并创建一个容器运行,访问地址为:... 2 安装rexray: ... 3 编辑配置文件:/e...
  • s3fs简介   简要来说,就是将s3的存储桶,文件,文件列表可以通过挂载到本地形成一个本地文件系统,方便浏览和查看目录结构,由于ceph rgw服务兼AWS S3,所以通过s3fs工具我们也能够将ceph radosgw集群的文件导出...
  • S3fs是一款基于FUSE的文件系统适配器,通过S3fs能够使对象存储直接挂载到云平台虚拟机,如云硬盘一般使用,非常的方便。本教程教你如何在Linux系统上使用S3fs 对于Ubuntu 14.04,执行: sudo apt-get install ...
  • Ozone的S3语义和FS语义

    2020-10-12 00:10:11
    文章目录前言Ozone的S3语义和FS语义Ozone S3语义和FS语义的联合使用引用 前言 在Ozone中,众所周知,它最开始设计仿照的原型即是S3语义的存储模式:基于volume, bucket, key三层的存储模型,底层的key是实际存储的...
  • 如何使用S3FS挂载S3:sudo vim /etc/passwd-s3fs,然后在里面输入输入[accessKeyId]:[secretAccessKey]键值对(这个也就是我们所说的用户名以及密码的配置文件,不过是ID以及Key)。  2.接下来就是相关操作 ...
  • 本文将帮助你如何在CentOS上安装s3cmds3cmd 是用于创建S3桶,上传,检索和管理数据到Amazon S3存储命令行实用进程。 本文将帮助你如何在CentOS,RHEL,OpenSUSE系统,Ubuntu,Debian和LinuxMint系...
  • 今天我们主要讲解,minio存储服务的部署、GitLabCI Runner配置分部署缓存。MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊...
  • 问题: hive我修改了 默认的f <...fs.defaultFS</name> <value>hdfs://。。。:8020</value> </property> 修改为<property> <name>fs.defaultFS</name> <valu...
  • kafka+flume+aws S3安装与配置

    千次阅读 2019-06-22 17:00:55
    kafka+flume+aws S3安装与配置 一、下载并解压、安装相应的版本 hadoop版本为2.9.2,flume的_本为1.9.0 下载hadoop地址为:...
  • hadoop连接Amazon s3时,core-site.xml文件该怎么配置? 文章目录1. 注意2. s3配置模板3. s3n的配置模板4. s3a的配置模板5. 必须要添加的配置5.1 配置 endpoint5.2 禁用ssl 1. 注意 具体配置要求如下: 1.首先,...
  • S3 命令行工具s3cm

    2016-03-30 10:23:00
    s3fs-fuse 和 S3 Browser 都不太好用, S3 Browser有付费版未使用过,不知如何。 当然官方肯定也是有客户端的,对于喜欢使用命令行的童鞋来说会觉得还不错的。 s3cmd: https://github.com/s3tools/s3cmd 配置...
  • AWS Ec2实例挂载S3存储桶实践

    千次阅读 2018-01-07 12:08:55
    1.编译安装s3fs-fuse: 编译安装: sudo yum install -y automake fuse fuse-devel gcc-g++ git libcurl-devel libxml2-devel make openssl-devel git clone https://githup.com/s3fs-fuse/s3fs-fus
  • 代理s3的nginx缓存服务器配置

    千次阅读 2017-10-13 10:55:08
    1: 实现代理s3的nginx缓存服务器 2: 实现 / -> /index.html映射, eg: http://www.abc.com-> http://www.abc.com/index.html, http://www.abc.com/abc/ -> http://www.abc.com/abc/index.html, http://w
  • S3C6410 开发环境配置 总结

    千次阅读 2010-10-14 13:50:00
    S3C6410 开发环境配置 总结一、搭建编译环境 所需要的交叉编译工具链:S3C6410X Tool Chain 4.2.2 - EABI V0.0 - cross-4.2.2-eabi.tar 1.解压上述工具链获得文件夹:4.2.2-eabi/ 2.在/usr/...
  • aws ec2挂载 s3

    2019-09-21 14:09:35
    配置s3 挂载aws ec2 安装依赖包:yum install -y automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make ...下载,编译并安装s3fs: git clone https://github.com/s3fs-fuse/s3fs-fuse.git &am...
  • hadoop and s3

    千次阅读 2013-03-12 23:32:05
    一 :配置,hadoop-site.xml的配置如下 fs.default.name s3://BUCKET fs.s3.awsAccessKeyId ID fs.s3.awsSecretAccessKey SECRET 或者 fs.default.name s3://ID:SECRET@BUCKET 二:hadoop通过...
  • bug提示 py4j.protocol.Py4JJavaError: An error occurred while calling o29.csv. java.lang.IllegalAccessError: tried to access method org.apache.hadoop.metrics2.lib....pyspark安装配置好读取...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 10,908
精华内容 4,363
关键字:

s3fs配置