精华内容
下载资源
问答
  • Python与shell命令互传

    2017-05-26 19:23:46
    参考网址:http://www.jb51.net/article/43500.htm#!/usr/bin/python # -*- coding:utf-8 -*-""" 本程序的目的是对分区的...import timeif __name__ == '__main__': print("正在通过list.sh将上一层过来的distcp_hand

    参考网址:http://www.jb51.net/article/43500.htm

    #!/usr/bin/python
    # -*- coding:utf-8 -*-
    
    
    """
    time:2017年5月23日17:01:38
    author:zmy
    intention:根据某个集市直接获取需要迁移的清单
    """
    
    import os
    import time
    
    sum_line = 0
    
    if __name__ == '__main__':
    
        #获取该mart_cmo下所有的列表:排除"partitions|.Trash|data_export.db|.sparkStaging|.staging"这几个清单
        fr2 = os.popen('hdfs dfs -du -s hdfs://172.19.167.12:8020/user/mart_cmo/* |sort -n -k1 |egrep  -v "partitions|.Trash|data_export.db|.sparkStaging|.staging"')
        #此时的整个表清单上是个字符串
        content = fr2.read()
        content_list = content.split("\n")
    
        #该目录用与存放最终的目录
        final_result = []
    
        #第一轮处理
        middle_result1 = []
        for line in content_list:
            if line:
                big_location = line.split()
                #获取当前行的目录大小和位置信息
                content_size = int(big_location[0])
                content_location = str(big_location[1])
                #5T的大小 = 5497558138880
                if content_size < 5497558138880:
                    sum_line += 1
                    final_result.append(big_location[1])
                else:
                    middle_result1.append(big_location[1]+"/*")
    
        #第二轮处理
        #注意:此时line的形式为 大小 + 位置
        middle_result2 = []
        for line in middle_result1:
            if line:
                location = line.strip()
                os.environ['location'] = str(location)
                fr2 = os.popen('hdfs dfs -du -s $location |sort -n -k1')
                content_data = fr2.read()
                #进行二次判断
                content2_list = content_data.split("\n")
                for line in content2_list:
                    if line:
                        big_location = line.split()
                        #获取当前行的目录大小和位置信息
                        content_size = int(big_location[0])
                        content_location = str(big_location[1])
                        # 5T的大小 = 5497558138880
                        if content_size < 5497558138880:
                            sum_line += 1
                            final_result.append(big_location[1])
                        else:
                            #下面一行代码包含大小和位置
                            middle_result2.append(big_location[1]+"/*")
    
        #第三轮处理
        #middle_result2当中存放的是目录,注意:没有对应的大小
        middle_result3 = []
        for line in middle_result2:
            if line:
                location = line.strip()
                os.environ['location'] = str(location)
                fr3 = os.popen('hdfs dfs -du -s $location |sort -n -k1')
                content_data = fr3.read()
                #进行三次判断
                content3_list = content_data.split("\n")
                for line in content3_list:
                    if line:
                        big_location = line.split()
                        #获取当前行的目录大小和位置信息
                        content_size = int(big_location[0])
                        content_location = str(big_location[1])
                        # 5T的大小 = 5497558138880
                        if content_size < 5497558138880:
                            sum_line += 1
                            final_result.append(big_location[1])
                        else:
                            #下面一行代码包含大小和位置
                            middle_result3.append(big_location[1]+"/*")
    
        #第四轮处理
        #呵呵,经过第四轮处理后不知道会不会消失
        middle_result4 = []
        for line in middle_result3:
            if  line:
                location = line.strip()
                os.environ['location'] = str(location)
                fr4 = os.popen('hdfs dfs -du -s $location |sort -n -k1')
                content_data = fr4.read()
                #进行四次判断
                content4_list = content_data.split("\n")
                for line in content4_list:
                    if line:
                        big_location = line.split()
                        #获取当前行的目录大小和位置信息
                        content_size = int(big_location[0])
                        content_location = str(big_location[1])
                        # 5T的大小 = 5497558138880
                        if content_size < 5497558138880:
                            sum_line += 1
                            final_result.append(big_location[1])
                        else:
                            #下面一行代码包含大小和位置
                            middle_result4.append(big_location)
    
    
        #4轮过后我们在检查一次
        print("sum=%d"%sum_line)
        print("4轮过后仍没有被细化的列表:")
        for line in middle_result4:
            print("\033[45;1m%s\033[0m" % line)
        line = "Successful!"
        print("\033[45;1m%s\033[0m"%(line))
    
        #将最终的结果输出到指定的文件list当中
        print("正在将最终的结果刷到list中")
        fr5 = open("./list",mode="w",encoding="utf-8")
        for line in final_result:
            if line:
                fr5.write(line+"\n")
    
        fr5.close()
    
        # 从结果集list中过滤出不含有dt=信息的文本,并赋值给list1
        print("正在从结果集当中过滤出含有dt分区的字段!")
        os.system('more list | grep -v "dt="  > list1')
        time.sleep(5)
    
        # 从结果集list中过滤出含有dt=信息的文本,并赋值给list2
        print("正在从结果集当中过滤出不含有dt分区的字段!")
        os.system('more list | grep  "dt="  > list2')
        time.sleep(5)
    
        #对于list1,调用脚本list.sh进行处理,形成第一个结果集distcp.list
        print("根据list列表中的清单构造10K对应的清单列表")
        os.system('sh ./list.sh')
        time.sleep(30)
    
        #对于list2,进行文本格式的处理,只过滤出路径即可。
        fr6 = os.popen('more list2 |awk -F "/dt="  \'{print $1}\'')
        content6 = fr6.read()
        content_list6 = content6.split("\n")
    
        # 定义一个set列表,用来去重
        set_list = []
        for line in content_list6:
            if line and line not in set_list:
                set_list.append(line)
    
        print("你好,需要手动处理的清单为:\033[42;1m%d\033[0m个" % (len(set_list)))
        print("将需要手动处理的清单存储到了distcp_handle.list文本中")
        fr7 = open("./distcp_handle.list", mode="w", encoding="utf-8")
        for line in set_list:
            if line:
                fr7.write(line + "\n")
    
        """
        当前目录下各个文件的作用:
        1.transfer_help.py  总脚本
        2.list  所有需要迁移的清单
        3.list1 不含有日期的清单
        4.list2 含有日期的清单
        5.distcp.list  list1通过list.sh处理的结果,是第一批需要拷贝的清单结果
        6.distcp_handle.list  需要手动进一步处理的清单
        7. 本脚本执行方法:/usr/local/bin/python3.2  transfer_help.py
        8.在cmo1或者cmo2客户端执行hdfs dfs -rmr hdfs://ns14/user/mart_cmo/temp/*/.distcp.tmp.attempt* 可以删除*/目录下distcp的冬冬
        """
    
    展开全文
  • linux系统之间互传文件 参考网址:http://blog.csdn.net/shaoxiaohu1/article/details/23191637   1.文件复制:本机-&gt;远程服务器: scp /home/shaoxiaohu/test1.txt shaoxiaohu@172...

    linux系统之间互传文件

    参考网址:http://blog.csdn.net/shaoxiaohu1/article/details/23191637

     

    1.文件复制:本机->远程服务器

    scp /home/shaoxiaohu/test1.txt shaoxiaohu@172.16.18.1:/home/test2.txt  
    

    其中,test1为源文件,test2为目标文件,shaoxiaohu@172.16.18.1为远程服务器的用户名和ip地址

    2.文件复制:远程服务器->本机  

    scp shaoxiaohu@172.16.18.2:/home/test2.txt /home/shaoxiaohu/test1.txt  
    

    其中,haoxiaohu@172.16.18.2为远程服务器的用户名和ip地址, test2为源文件,test1为目标路径

    3.文件夹复制

    scp -r shaoxiaohu@172.16.18.2:/home/ /home/
    

    4. 端口号

      如果端口号有更改,需在scp 后输入:-P 端口号 (注意是大写,ssh的命令中 -p是小写)

     

    posted @ 2017-12-08 11:28 懒牛拉车 阅读(...) 评论(...) 编辑 收藏
    展开全文
  • python局域网文件互传

    2019-10-21 16:44:45
    找到自己的ip地址 inet后面的 xxx.xxx.xxx.xxx就是自己的地址 ifconfig 运行python脚本 端口8000或者其他 ...目标电脑打开浏览器输入网址: xxx.xxx.xxx.xxx:8000 即可打开待传输电脑目前运行命令的目录 ...

    找到自己的ip地址
    inet后面的 xxx.xxx.xxx.xxx就是自己的地址

    ifconfig 
    ifconfig | grep "inet " | grep -v 127.0.0.1
    

    运行python脚本 端口8000或者其他

    python3 -m http.server 8000
    

    目标电脑打开浏览器输入网址:
    xxx.xxx.xxx.xxx:8000
    即可打开待传输电脑目前运行命令的目录

    展开全文
  • Hello~大家好呀~我是Little丶C~今天小C给大家分享一款快捷的文件传输工具—文件闪传无需数据线也能快速将手机文件传输至电脑,简单安全可靠,在同一WiFi条件下轻松实现文件互传和屏幕投影。使用教程1.下载安装文件闪...

    d3d0845e7f6d5b035e6806d7b7e1c551.gif

    44c6b4ed139d8185184fc404decd508f.png

    0451f13d7e9f74f6335d67c5a60f2363.gif

    Hello~大家好呀~我是Little丶C~今天小C给大家分享一款快捷的文件传输工具—文件闪传无需数据线也能快速将手机文件传输至电脑,简单安全可靠,在同一WiFi条件下轻松实现文件互传和屏幕投影。使用教程1.下载安装文件闪传(软件获取方式见文末)2.打开文件闪传软件将下面网址输入电脑浏览器中按下回车键,就可以在电脑上看到手机中的相册、视频、音乐等等手机文件

    5a5ed0bd2cf9538e6410f7476434e61c.png

    (提示:断开手机和电脑,点击按钮变成绿色)

    3.电脑和手机文件互传① 若是要手机文件传送至电脑选中所需上传的文件—点击“下载”

    6900b14ad956a1ded0ecefc70b82dc3f.png

    (如果是上传单个文件,点击上传文件前方的“□”;如果是上传全部文件,点击右上方的“全选”)若是要电脑文件传送至手机在“文件闪传”找“传到手机”将电脑文件发送至手机—在手机收到文件界面看到传送文件

    7d5a394e5bfacd9045d1fca4283d2052.png

    或者直接将要传送的文件拖至网址窗口即可传送

    5df0c550ab34ee69d599dff0c761d313.png

    5.打开“屏幕投影”可以直接将手机屏幕显示内容直接显示在电脑屏幕上

    61cf0cf4c77c3f542098500a2405831c.png

    这款软件轻松实现了文件在手机与电脑之间快速互传和投影,不需要任何工具~简单快捷!f2f44d1f6849961af08038299c08a0b1.png如果觉得文章不错的话就分享给更多小伙伴叭关注『皮小兔科技』,每日推送好用软件你我本无缘,全靠你点赞

    fef71fc39a99c5772ab0b2714ac166ab.png

    获取地址

    后台回复“文件闪传”查看

    e33a9ecb477532213c0122c7128ff231.gif转发,点赞,在看,小可爱安排了嘛67a7ba2251706607b7c0a14f7e45d456.png
    展开全文
  • 手机电脑互传文件,如果懒得开QQ和微信,就用这个网页传文件工具。1.首先输入网址fileroom.io,网站自动分配一个房间地址,分享给要接受文件的朋友或手机。2.手机或朋友打开你的房间网址后,就会出现在列表里。(名字...
  • 一、putty的下载与安装 1、去putty官网下载对应... 2、putty的基本使用方法如下:   打开putty,在面板中输入你要连接的目标的IP地址或者主机名(本例中目标IP为202.118.86.79),或者是主机网址。之后putty...
  • 1、CuteFTP windows系统和Linux系统文件互传的工具,功能十分强大。
  • 录音转文字实用工具(可转)

    千次阅读 2018-12-27 15:48:36
    工作中常常需要做会议记录,单单的通过敲文字根本忙不过来,这里推荐给大家一个方案: 第一步,下载手机上的STM10录音器的...第二步,在下面这个网址上上录音文件并转换: http://www.360converter.com/convers...
  • 平时我们传文件可以选择微信或者扣扣互传、但是会压缩,如果选择面对面快传、蓝牙互传、数据线传输又会有距离的限制。所以我推荐给大家的这几款在线传输工具,他们只有一个要求:只要网速好就可以互传。01传输工具...
  • 我在《用psftp在电脑和树莓派之间互传文件》一文中介绍了psftp的使用。为了方便读者,我放了一个我正在使用的版本在这里。你也可以百度一个其他版本的FTP工具。 文章网址...
  •  如果我的博客能够帮到大家能够点个赞,关注一下,以后还会更新更过JavaWeb的高级技术,大家的支持就是我继续更新的动力。谢谢。 一、前期准备 ... Xftp(用于Linux服务器和主机之间的文件互传) ...
  • 启用Mac的WebDAV可以实现文件的上传以及Windows、Linux和Mac之间的数据互传。 客户端使用:windows下使用网上邻居 --> 添加一个网上邻居 --> 输入uploads的网址:http://192.168.0.254/uploads 。 linux...
  • 如何快速搭建钉钉微应用? 云中沙箱实验“快速搭建钉钉微应用”,教您如何...钉钉(DingTalk)是阿里巴巴集团专为中国企业打造的免费沟通和协同的多端平台,提供PC版,Web版和手机版,支持手机和电脑间文件互传。 ...
  •  网址:http://www.3322.com.cn/reg2.asp?10586   优点:免费短信,移动及联通用户都可以注册、接收、发。速度快,即发即收,字数50个汉字。网站稳定可长期使用。初始注册限50条,如要增加短信必须...
  • Linux命令笔记

    2019-03-14 09:16:58
    15:scp 远程和本地互传文件 语法:scp [参数] [原路径] [目标路径] 16:mv 剪切文件或该名 语法:mv[源文件或目录][目标目录] 17:ln 生成连接文件 语法:ln -s[原件名][目标文件] 常用命令/文件搜索 1:find 文件...
  • java源码包---java 源码 大量 实例

    千次下载 热门讨论 2013-04-18 23:15:26
     Java实现HTTP连接与浏览,Java源码下载,输入html文件地址或网址,显示页面和HTML源文件,一步步的实现过程请下载本实例的Java源码,代码中包括丰富的注释,对学习有帮助。 Java实现的FTP连接与数据浏览程序 1个...
  • java源码包2

    千次下载 热门讨论 2013-04-20 11:28:17
     Java实现HTTP连接与浏览,Java源码下载,输入html文件地址或网址,显示页面和HTML源文件,一步步的实现过程请下载本实例的Java源码,代码中包括丰富的注释,对学习有帮助。 Java实现的FTP连接与数据浏览程序 1个...
  • java源码包3

    千次下载 热门讨论 2013-04-20 11:30:13
     Java实现HTTP连接与浏览,Java源码下载,输入html文件地址或网址,显示页面和HTML源文件,一步步的实现过程请下载本实例的Java源码,代码中包括丰富的注释,对学习有帮助。 Java实现的FTP连接与数据浏览程序 1个...
  • Java局域网通信——飞鸽书源代码 28个目标文件 内容索引:JAVA源码,媒体网络,飞鸽书 Java局域网通信——飞鸽书源代码,大家都知道VB版、VC版还有Delphi版的飞鸽书软件,但是Java版的确实不多,因此这个Java...
  • Java局域网通信——飞鸽书源代码 28个目标文件 内容索引:JAVA源码,媒体网络,飞鸽书 Java局域网通信——飞鸽书源代码,大家都知道VB版、VC版还有Delphi版的飞鸽书软件,但是Java版的确实不多,因此这个Java...
  • java源码包

    2015-12-01 16:29:37
     Java实现HTTP连接与浏览,Java源码下载,输入html文件地址或网址,显示页面和HTML源文件,一步步的实现过程请下载本实例的Java源码,代码中包括丰富的注释,对学习有帮助。 Java实现的FTP连接与数据浏览程序 1个...
  • Java局域网通信——飞鸽书源代码 28个目标文件 内容索引:JAVA源码,媒体网络,飞鸽书 Java局域网通信——飞鸽书源代码,大家都知道VB版、VC版还有Delphi版的飞鸽书软件,但是Java版的确实不多,因此这个Java...
  • JAVA上百实例源码以及开源项目

    千次下载 热门讨论 2016-01-03 17:37:40
     Java实现HTTP连接与浏览,Java源码下载,输入html文件地址或网址,显示页面和HTML源文件,一步步的实现过程请下载本实例的Java源码,代码中包括丰富的注释,对学习有帮助。 Java实现的FTP连接与数据浏览程序 1个...
  • CruiseYoung提供的带有详细书签的电子书籍目录 ... 用TCP/IP进行网际互联第三卷:客户-服务器编程与应用(Linux/POSIX套接字版) 基本信息 原书名:Internetworking With TCP/IP Vol Ⅲ:Client-Server Programming ...
  • 实例273 执行带回参数的存储过程 实例274 重命名存储过程 实例275 在存储过程中使用事务 实例276 加密存储过程 实例277 查看存储过程的相关信息 7.4 触发器的应用 实例278 获取数据库中的触发器 实例279 使用...

空空如也

空空如也

1 2
收藏数 27
精华内容 10
关键字:

互传网址