精华内容
下载资源
问答
  • ftp提取文件到hdfs

    千次阅读 2018-02-24 18:21:11
    ftp提取文件到hdfs 实际场景中,我们经常需要通过ftp协议把不同数据源的文件统一汇入到hdfs数据中心,经过实践,有以下的三种方法,分别列出其优缺点及适用场景。 一、先把文件ftp到本地,然后用命令上传到HDFS ...

    ftp提取文件到hdfs

    实际场景中,我们经常需要通过ftp协议把不同数据源的文件统一汇入到hdfs数据中心,经过实践,有以下的三种方法,分别列出其优缺点及适用场景。

    一、先把文件ftp到本地,然后用命令上传到HDFS

    HDFS上传命名

    hdfs dfsput [local_path] [hdfs_path]

    优点:文件在本地可以进行本地化的一系列操作后,再放回hdfs中
    缺点:文件传输经过两层,并且从源服务器到本地提取是单机串行,比较消耗时间。

    适用于文件放入hfds前需要预处理的情景,如:.zip压缩文件不被hadoop支持的,所以我们可以先在本地转压缩方式然后再放入hdfs中。

    1.ftp下载到本地

    两种方法:
    1)ftp工具下载

    mget_ftp()
    {
    user=
    passwd=
    host=
    local local_dir=$1
    local remote_dir=$2
    test -e $local_dir ||mkdir -p $local_dir
    
    ftp -inv $host <<EOF
        user $user $passwd
        binary
        cd $remote_dir
        lcd $local_dir
        hash
        prompt off
        mget *
        #rmdelete /data/cyf_test/*
        #rmdir /data/cyf_test
        close
        bye
    EOF
    }

    2)wget

    mget_using_wget()
    {
    local remote_dir=$1
    wget ftp://IP:PORT/$REMOTE_DIR/* --ftp-user=$NAME --ftp-password=$PASSWORD --dont-remove-listing -r
    }

    这种方法会在本地建立一个和ftp服务器相同的目录结构
    或者自定目录

    wget --ftp-user=$USER --ftp-password=$PASSWORD ftp://$HOST/$remote_dir/$file -O $local_dir/$file

    wget的速度相对于lftp和ftp快很多。
    3)lftp
    需要安装lftp
    获取远程ftp上的列表

    lftp -e 'ls;quit' sftp://$USER:$PASSWORD@$HOST/$REMOTE_DIR|sed '1,2d'|awk '{print $NF}' > $REMOTE_LIST
    

    对数据下载

    lftp sftp://$USER:$PASSWORD@$HOST  -e "get $REMOTE_DIR/$file -o $LOCAL_DIR; bye"

    2.删除ftp服务器上的文件

    del_file_from_ftp()
    {
    u=
    p=
    ip=
    local file=$1
    local remote_dir=$2
    ftp -inv $ip <<EOF
            user $u $p
            binary
            prompt
            delete $remote_dir/$file
            bye
    EOF
    }
    
    mdel_ftp()
    {
    local local_dir=$1
    local remote_dir=$2
    for file in `find $local_dir ! -name ".*"|sed '1d'|awk -F "/" '{print $NF}'`
    do
        del_file_from_ftp $file $remote_dir
    done
    }
    //设置ssh互信登录
    mdel_ftp_using_ssh()
    {
    local local_dir=$1
    local remote_dir=$2
    for file in `find $local_dir ! -name ".*"|sed '1d'|awk -F "/" '{print $NF}'`
    do
          ssh  -t $USER@$IP "rm $remote_dir/$file"
    done
    }

    3.上传到HDFS

    upload_data_to_hdfs()
    {
    local upload_dir=""
    local des_hdfs_dir=""
    for file in `ls -l $LOCAL_DIR|grep "*.dat"|sed '1d'|awk '{print $NF}'`  
    do
        echo "upload $file to $des_hdfs_dir"
        $HDFS_EXE dfs -put $upload_dir/$file $des_hdfs_dir
    done
    }

    二、HDFS dfs -cp

    hdfs dfs –cp [ftp://username:password@hostname/ftp_path] [hdfs:///hdfs_path]

    优点:简单,提取速度快
    缺点:CLI执行不会显示进度
    适用场景:适用于小文件的ftp拷贝。

    这种方法没有实际使用过。

    三、hadoop distcp

    hadoop distcp [ftp://username:password@hostname/ftp_path] [hdfs:///hdfs_path]

    优点:简单,能显示拷贝进度,并且是分布式提取的,数据比较快。
    缺点: 如果拷贝的文件是不断有其他程序写入,会报错,因为该命令最后要对数据进行checksum导致两边不一致,当然,该命令是主要用于集群间拷贝的。

    适用场景:大量文件或大文件的拷贝。

    展开全文
  • 可打开安卓img刷机包提取文件的小工具IMG浏览器可打开安卓img刷机包提取文件的小工具IMG浏览器
  • 从test.txt里查找CLIENT_...由于修改的文件是xml,所以需要chcp 65001切换编码到utf8,否则会出现中文乱码 批处理bat: adding: 0px; font-family: arial, 'courier new', courier, 宋体, monospace, 'Microsof...

    从test.txt里查找CLIENT_HOME 按=分割,获取值  替换1.txt里的所有CKIENT_HOME 

    由于修改的文件xml,所以需要chcp 65001切换编码到utf8,否则会出现中文乱码

     

    批处理bat:

    adding: 0px; font-family: arial, 'courier new', courier, 宋体, monospace, 'Microsoft YaHei'; white-space: pre-wrap; word-wrap: break-word; word-break: break-all; color: rgb(51, 51, 51); line-height: 20px;">

    @echo off
    chcp 65001

    for /f "tokens=1,2 delims==" %%a in ('Type conf.properties^|Findstr CLIENT_HOME') do (
           set "c1=%%a" 
           set "new=%%b"
           goto end
           )
    :end
    echo %new%


    ren cgame.as3proj a.txt
    for /f "delims=" %%i in ('findstr "CLIENT_HOME" a.txt')do (
           for /f "delims=" %%j in ('type "a.txt"') do (
                   if %%i==%%j (
                                   setlocal Enabledelayedexpansion
                                   set "var=%%i"
                           set "var=!var:CLIENT_HOME=%new%!"
                           echo !var!>>b.txt
                           endlocal
                           )else echo %%j>>b.txt
                   )
           ) 
    ren b.txt cgame.as3proj
    del a.txt b.txt

    pause

    展开全文
  • java提取文件的扩展名

    千次阅读 2018-10-16 14:11:24
    提取文件的扩展名 String ext = musicLocal.substring(musicLocal.lastIndexOf(&quot;.&quot;)); //得到&quot;.&quot;最后出现的位置 musicLocal.lastIndexOf(&quot;.&quot;) ...

    提取文件的扩展名

    String ext = musicLocal.substring(musicLocal.lastIndexOf("."));
    
        //得到"."最后出现的位置
        musicLocal.lastIndexOf(".")
    
       String id = "123454321";
       String shortId, longId, Id;
       shortId = id.substring(2, 7);
       longId = id.substring(1, 8);
       Id = id.substring(4);
       System.out.println(shortId);
       System.out.println(longId);
       System.out.println(Id);
    

    在这里插入图片描述
    substring(x)是从字符串的的第x个字符截取到最后
    substring(x,y)是从x到y前的位置停止

    展开全文
  • 可打开安卓img刷机包提取文件的小工具IMG浏览器
  • vs2019安装时,一直卡在正在提取文件 一、首先,别急嘞,既然看到这篇文章,恭喜你,基本可以100%解决掉该问题,哈哈哈哈 错误如图所示: 然后,你觉得可能是慢吧,那我再等等,然后就 哦吼~ 二、解决方案...

    vs2019安装时,一直卡在正在提取文件

    一、首先,别急嘞,既然看到这篇文章,恭喜你,基本可以100%解决掉该问题,哈哈哈哈

    错误如图所示:

    然后,你觉得可能是慢吧,那我再等等,然后就  哦吼~

     

    二、解决方案一(推荐):

    将网络连接中的,DNS设成114.114.114.114或者8.8.8.8,再重试即可!

    当然这个可能有点点专业了?那可以联系下恬恪学习网的客服,提供远程帮助,100%解决(注:没有强制找我们解决,没有强制,方法已经告诉您啦,技术无价)

     

    三、解决方案二(使用离线安装包):

    VS_2019 离线安装包下载地址 Visual_Studio_2019_离线安装包  (没有强制使用这个,可从其它渠道获取也可)

    展开全文
  • DirectoryInfo的GetFiles() 一次只能传递一种格式的参数 private void GetFiles(string filePath) {  DirectoryInfo di = new DirectoryInfo(filePath);...如果要获取多种格式文件请使用以下方法: public ...
  • 有些脚本要根据文件名进行各种处理,有时候需要保留文件名抛弃文件后缀,也有时候需要文件后缀不要文件名,这类提取文件部分的操作使用shell的内建功能就能实现。需要用到的几个操作符有:%、%%、#、##。 从右向左...
  • win10安装Visual Studio2019时卡在了提取文件

    千次阅读 多人点赞 2021-04-16 21:48:16
    win10安装Visual Studio2019时卡在了提取文件处前言问题解决DNS 前言 最近开始学C++,想换一款powerful的IDE,结果出师未捷身先死。 问题 下载的时候卡在了如图界面,说是网络问题。然而此时浏览网页是正常的。网友...
  • 目前我正在做一个程序模块,需要从zip压缩文件提取出某个文件到内存buffer。我尝试用zlib来提取,但是失败了。用好压打开那个压缩文件显示压缩算法是Store。 补充:后来我用zlib来提取一个压缩算法是deflate的zip...
  • 从msp补丁包中提取文件

    千次阅读 2013-05-03 09:37:50
    介绍一个从 msp 补丁包中提取文件的工具。 msix 是 Heath Stewart 用 c++ 编写的工具,在命令行下可以提取 msp 中的文件。 命令格式为 MsiX.exe [/out ] [/ext] 示例:MsiX.exe test.msp /out d:\...
  • //按行提取文件(以图像左下角开始,从左向右,从下到上遍历) int size = line.length(); char a = line[size - 1];//取出每行中第32个字符 picture1.set_tu(i, j, a);//把数字存储到数组中 } }
  • VBA批量提取文件

    千次阅读 2016-08-24 17:00:17
    作者:代sir ... 来源:知乎 1、将要调用的工作薄统一放在一个文件夹里,假设该文件夹名称为“数据”...3、将“数据”文件夹内的所有Excel文件的文件名提取到汇总工作簿的A列(见 Sub 提取文件夹内文件名()) 4、开始
  • mkv格式提取文件方法

    千次阅读 2019-08-14 23:45:45
    首先从网上找一个mkvtoolnix,解压安装 运行cmd 进入mkvtoolnix安装目录 首先查看需要拆分的mkv所含的内容 ...mkvextract tracks “文件路径” 轨道ID : 文件名称.后缀 轨道ID:文件名称.后缀 在...
  • 前几天发了一个[原创]自己动手写CSDN博客提取器,提取文件保存支持PDF、doc、txt三种格式 飞程序,有网友反映要做一个可以提取博客园博文,今天我分析了一些博客园的网站,做了一个相似的博客园博文提取器,见下图...
  • rpm包提取文件

    千次阅读 2012-02-10 13:01:05
    今天在群里听见朋友们在讨论如何恢复被损坏的network脚本文件,其中提到一个很好的方法就是可以提取系统安装盘里rpm包文件里的文件来覆盖被损坏的脚本,这一点很像恢复Windows系统里被损坏文件的方法。下面把如何...
  • 现在用dos指令dir *.*>1.txt,输出的只能精确到分钟
  • Python 提取文件中的数字

    千次阅读 2019-07-28 18:08:09
    filename = 'C:\\Users\\lenovo\\Documents\\_rea\\ztest.txt' with open(filename) as fileA : lines = fileA.readlines() ans = '' inta = [] for line in lines : line = line.rstrip() ans += line...
  • fileFolder=fullfile(matlabroot,'mathclass','raccoon');%遍历文件夹下所有符合条件的文件 dirOutput=dir(fullfile(fileFolder,'ra*.jpg'));%提取路径 fileNames={dirOutput.name}';%获得符合条件文件名 Mat
  • 从pcap包里提取文件

    千次阅读 2019-11-07 14:46:10
    http://www.91ri.org/11958.html
  • python 提取文件指定列

    万次阅读 2015-08-26 21:53:37
    之前用featureCount 处理得到结果,要提出第一列gene_id 和 ...删除当前文件夹下所有文件第一行。 其实提出两列很简单,不过我受够了每次一个文件执行一次的烦。想搞成别的程序调用时命令行参数直接就行。第一次知道sy
  • 先详细的描述一下问题,在安装Visual Studio 2019的时候出现Visual Studio Installer一直卡提取文件界面,并且在下载验证文件之后又重新下载文件的情况。 这种情况是由于没有安装Windows Update软件引起的,安装上该...
  • 场景: 1. zlib库跨平台,Windows和MacOSX都可以使用,还支持64位编译,轻量级,没有不用的道理。...2. 处理.zip,apk,docx文件时,因为这类文件都是zip格式,使用zlib能方便提取压缩文件里的数据。
  • 核心:如需把d盘下abc.msi文件解包到目录d:\abc,操作如下: 打开命令提示符,输入 msiexec /a "d:\abc.msi" /qb TARGETDIR="D:\abc" 参考: 在命令行下输入msiexec,不加任何参数,显示msiexec 文档如下 -----...
  • 怎么才能将这个文件里的URL地址和email提取出来,并保存到一个文件里 Contacting address: Middle-section of Nan'er Huan Road, Xi’an, Shaanxi, P.R. China Chang’an University Zip code: 710064 Tel: 0086-29...
  • % 函数功能:指定路径...% file_mask:需要查找的文件类型,比如*.jpg function file_list = ScanDir(path, file_mask) file_path = path; % 图像文件夹路径 img_path_list = dir(strcat(file_path, file_mask));...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 683,442
精华内容 273,376
关键字:

提取文件