#!/bin/bash

function echofile(){
        if [[ ! $1 =~ \.log$ ]];then
                echo $1
        fi
}

function getdir(){
    for item in `ls $1`
    do
        filename=$1"/"$item
        if [[ -d $filename ]]
        then
            echo $filename
            getdir $filename
        else
            echofile $filename
        fi
    done
}
root_dir="$1"
getdir $root_dir

参考：
https://blog.csdn.net/wdz306ling/article/details/81181699

#!/usr/bin/python3

# -*- coding: UTF-8 -*-

import re

import os

import time

def print_files(path):

lsdir = os.listdir(path)

dirs = [i for i in lsdir if os.path.isdir(os.path.join(path, i))] if dirs:

for i in dirs:

print_files(os.path.join(path, i))

files = [i for i in lsdir if os.path.isfile(os.path.join(path,i))]

#for f in files: #列出所有文件(包括子目录下的文件)

for f in dirs: #列出所有目录(包括子目录下的目录)

sss = (os.path.join(path, f))

if os.path.isdir(sss): #判断路径是否为目录

print (sss)

return

print_files('/test/test1/') #列出'/test/test1/'目录下的所有文件或目录（包括子目录）

@羲凡——只为了更好的活着

Scala列出hdfs目录下的文件

在最近的一个业务中需要列出hdfs上某个目录下的所有文件，再过滤出自己需要的文件，进行spark循环，在网上找到了篇博客非常有用，我稍微简化了一下，拿走不谢。
如果查看原博主文章点这里 https://blog.csdn.net/dkl12/article/details/84312307 尊重原博主。下面字节上代码：

package csdn
import java.net.URI
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileSystem, FileUtil, Path}
import scala.collection.mutable.ArrayBuffer

object SparkListHdfsFile {
  def main(args: Array[String]): Unit = {
    val path = "/aarontest/dqas"
    //生成FileSystem
    def getHdfs(path: String): FileSystem = {
      val conf = new Configuration()
      FileSystem.newInstance(URI.create(path), conf)
    }

    //获取目录下的一级文件和目录
    def getFilesAndDirs(path: String): Array[Path] = {
      val fs = getHdfs(path).listStatus(new Path(path))
      FileUtil.stat2Paths(fs)
    }
    //获取目录下的一级文件
    def getFiles(path: String): Array[String] = {
      getFilesAndDirs(path).filter(getHdfs(path).getFileStatus(_).isFile())
      .map(_.toString)
    }
    //获取目录下的一级目录
    def getDirs(path: String): Array[String] = {
      getFilesAndDirs(path).filter(getHdfs(path).getFileStatus(_).isDirectory)
      .map(_.toString)
    }
    //获取目录下的所有文件
    def getAllFiles(path: String): ArrayBuffer[String] = {
      val arr = ArrayBuffer[String]()
      val hdfs = getHdfs(path)
      val getPath = getFilesAndDirs(path)
      getPath.foreach(patha => {
        if (hdfs.getFileStatus(patha).isFile())
          arr += patha.toString
        else {
          arr ++= getAllFiles(patha.toString())
        }
      })
      arr
    }

    println("获取目录下的一级文件和目录")
    getFilesAndDirs(path).foreach(println)
    println("获取目录下的一级文件")
    getFiles(path).foreach(println)
    println("获取目录下的一级目录")
    getDirs(path).foreach(println)
    println("获取目录下所有文件")
    getAllFiles(path).foreach(println)
  }
}

结果展示：

获取目录下的一级文件和目录
hdfs://ns/aarontest/dqas/SparkDqas.jar
hdfs://ns/aarontest/dqas/dqasToMysql.sh
hdfs://ns/aarontest/dqas/jsr166e-1.1.0.jar
hdfs://ns/aarontest/dqas/mysql-connector-java-5.1.38.jar
hdfs://ns/aarontest/dqas/spark-cassandra-connector_2.11-2.3.1.jar
hdfs://ns/aarontest/dqas/tmpData
获取目录下的一级文件
hdfs://ns/aarontest/dqas/SparkDqas.jar
hdfs://ns/aarontest/dqas/dqasToMysql.sh
hdfs://ns/aarontest/dqas/jsr166e-1.1.0.jar
hdfs://ns/aarontest/dqas/mysql-connector-java-5.1.38.jar
hdfs://ns/aarontest/dqas/spark-cassandra-connector_2.11-2.3.1.jar
获取目录下的一级目录
hdfs://ns/aarontest/dqas/tmpData
获取目录下所有文件
hdfs://ns/aarontest/dqas/SparkDqas.jar
hdfs://ns/aarontest/dqas/dqasToMysql.sh
hdfs://ns/aarontest/dqas/jsr166e-1.1.0.jar
hdfs://ns/aarontest/dqas/mysql-connector-java-5.1.38.jar
hdfs://ns/aarontest/dqas/spark-cassandra-connector_2.11-2.3.1.jar
hdfs://ns/aarontest/dqas/tmpData/_SUCCESS
hdfs://ns/aarontest/dqas/tmpData/part-00000-b681c97b-2e6953-c000.csv

====================================================================

@羲凡——只为了更好的活着

若对博客中有任何问题，欢迎留言交流

1.应用场景 
就是借助代码,查看目录结构
2.学习/实践 
 方式一：PHP原生开发code [主要测试使用php7]
 // 备注, 以下代码, 直接复制, 可能会出现如下报错
 Parse error: syntax error, unexpected ' ' (T_STRING) in G:\phpstudy_pro\WWW\study_test\index.php on line 4, 
 原因: 猜测是直接复制粘贴导致的格式编码问题.
 解决办法: 手动编写.
 
  
 但是为了效率，这里直接贴上GitHub的code地址
 https://gitee.com/william_ning/php-learning/blob/master/获取目录下文件/getDirFiles.php
   
     其中，https://gitee.com/william_ning/php-learning/blob/master/获取目录下文件/getDirFiles-not-work.php  // 未生效， 原因TBD
   
         
         <?php
 /**      
 * PHP中列出目录中的目录和文件的几种方法      
 */       
 // 兼容PHP4和PHP5的写法
   
         /**
  * 获取文件目录  //又重新敲了一遍,
  */
  function getFileList($directory){
     $files = [];
     if(!is_dir($directory)){
         throw new Exception('文件路径不目录');
     }
     if($dh = opendir($directory)){
         while($file = readdir($dh) != false){
             if($file != '.' && $file != '..'){
                 $files[] = $file;
             }
         }
         closedir($dh);
     }
     return $files;
 } 
        
 截图如下:
 
 
 由上可知, 获取的结果会虑掉php脚本文件[应该是php底层实现做了过滤]TBD
 解决办法: TBD  // 20200108
         
PHP5中的简单方法 
         
         function getFileList2($directory) {        
     $files = array();        
     if(is_dir($directory)) {        
         if($files = scandir($directory)) {        
             $files = array_slice($files,2);        
         }        
     }        
     return $files;        
 } 
        
 使用PHP5面向对象的写法  ---- 推荐 
         
         function getFileList3($directory) {        
     $files = array();        
     try {        
         $dir = new DirectoryIterator($directory);        
     } catch (Exception $e) {        
         throw new Exception($directory . ' is not readable');        
     }        
     foreach($dir as $file) {        
         if($file->isDot()) continue;        
         $files[] = $file->getFileName();        
     }        
     return $files;        
 }         
        
 个人实践
 Note: [并不能获取目录下目录的文件, 应该调整为递归调用]  TBD 
         
         /**
  * [CAN_POST]
  * 查看目录
  */
 public function getFileList($directory = 'data1/www/test.gzm.oa.com') {
     $files = [];
     if(is_dir($directory)) {
         if($dh = opendir($directory)) {
             while(($file = readdir($dh)) !== false) {
                 if($file != '.' && $file != '..') {
                     $files[] = $file;
                 }
             }
             closedir($dh);
         }
     }
     return $files;
 } 
        
 
 
 2.组件开发code 
     创建文件上传管理服务
 现在基本配置已经完成了，让我们创建一个服务类来管理上传文件。
 检测文件 MIME 类型
 我们想要基于不同类型的上传文件进行不同的操作，这可以通过检测上传文件 MIME 类型轻松实现。
 PHP 有一个内置函数 mime_content_type() 用于检测文件的 MIME 类型，但是该函数已经废弃了，我们使用另一个解决方案。
 在 Packagist 中搜索「mime」会查询到一个名为 dflydev/apache-mime-types 的包，我们在博客项目中使用 Composer 安装该依赖包： 
         
         composer require dflydev/apache-mime-types 
        
 我们将使用该依赖包提供的方法来检测文件的 MIME 类型。 
         
           
         <?php 
         namespace App\Services; 
         use Carbon\Carbon;
 use Illuminate\Support\Facades\Storage;
 use Dflydev\ApacheMimeTypes\PhpRepository; 
         class UploadsManager
 {
     protected $disk;
     protected $mimeDetect; 
             public function __construct(PhpRepository $mimeDetect)
     {
         $this->disk = Storage::disk(config('blog.uploads.storage'));
         $this->mimeDetect = $mimeDetect;
     } 
             /**
      * Return files and directories within a folder
      *
      * @param string $folder
      * @return array of [
      *     'folder' => 'path to current folder',
      *     'folderName' => 'name of just current folder',
      *     'breadCrumbs' => breadcrumb array of [ $path => $foldername ]
      *     'folders' => array of [ $path => $foldername] of each subfolder
      *     'files' => array of file details on each file in folder
      * ]
      */
     public function folderInfo($folder)
     {
         $folder = $this->cleanFolder($folder); 
                 $breadcrumbs = $this->breadcrumbs($folder);
         $slice = array_slice($breadcrumbs, -1); // 返回最后一个元素组成的数组
         $folderName = current($slice); // 获取数组的值
         $breadcrumbs = array_slice($breadcrumbs, 0, -1); // 返回除最后一个元素外元素组成的数组 为什么不适用array_shift/array_pop 
                 $subfolders = [];
         foreach (array_unique($this->disk->directories($folder)) as $subfolder) {
             $subfolders["/$subfolder"] = basename($subfolder);
         } 
                 $files = [];
         foreach ($this->disk->files($folder) as $path) {
             $files[] = $this->fileDetails($path);
         } 
                 return compact(
             'folder',
             'folderName',
             'breadcrumbs',
             'subfolders',
             'files'
         );
     } 
             /**
      * Sanitize the folder name // 清理文件目录名, 即不存在.. 与 前缀 // 或者 后缀 /, 否则都不是标准的目录路径形式
     */
     protected function cleanFolder($folder)
     {
         return '/' . trim(str_replace('..', '', $folder), '/');  // 固定用法
    } 
             /**
      * 返回当前目录路径
      */
     protected function breadcrumbs($folder)
     {
         $folder = trim($folder, '/');
         $crumbs = ['/' => 'root']; 
                 if (empty($folder)) {
             return $crumbs;
         } 
                 $folders = explode('/', $folder);
         $build = '';
         foreach ($folders as $folder) {
             $build .= '/' . $folder;
             $crumbs[$build] = $folder;
         } 
                 return $crumbs;
     } 
             /**
      * 返回文件详细信息数组
      */
     protected function fileDetails($path)
     {
         $path = '/' . ltrim($path, '/'); 
                 return [
             'name' => basename($path),
             'fullPath' => $path,
             'webPath' => $this->fileWebpath($path),
             'mimeType' => $this->fileMimeType($path),
             'size' => $this->fileSize($path),
             'modified' => $this->fileModified($path),
         ];
     } 
             /**
      * 返回文件完整的web路径
      */
     public function fileWebpath($path)
     {
         $path = rtrim(config('blog.uploads.webpath'), '/') . '/' . ltrim($path, '/');
         return url($path);
     } 
             /**
      * 返回文件MIME类型
      */
     public function fileMimeType($path)
     {
         return $this->mimeDetect->findType(
             pathinfo($path, PATHINFO_EXTENSION)
         );
     } 
             /**
      * 返回文件大小
      */
     public function fileSize($path)
     {
         return $this->disk->size($path);
     } 
             /**
      * 返回最后修改时间
      */
     public function fileModified($path)
     {
         return Carbon::createFromTimestamp(
             $this->disk->lastModified($path)
         );
     }
 } 
        
 
 
  
 后续补充
 ...
 
3.问题/补充 
 1. 复制粘贴一直报错的原因见最上方
  
 ...
 
4.参考 
 https://zhidao.baidu.com/question/199986547292329565.html
 https://xueyuanjun.com/post/9737  //基于 Laravel 5.7 开发博客应用系列（五） —— 在后台实现文件上传删除管理功能
 https://packagist.org/?query=mime  //mime组件包查询
 
后续补充 
...

收起

nomocox.zip

VBA 按照某一列进行筛选拆分数据，拆分成多个表或多个Sheet，按某列检查重复生成新的Sheet，删除除本表外的...

数值计算方法实验报告（4个实验）（含代码）.zip

吊装助理-吊耳设计软件.zip

基于JavaWeb图书管理系统毕业设计软件源码+论文文档资料.zip

数据结构：长整数的加减法(任意长度的加减法)_数据结构大整数运算

列出当前目录下的所有文件的Excel宏

Linux 中批量提取文件夹下所有目录及文件名称

tree命令以树状图列出目录内容

Linux shell列出指定目录下所有目录和文件，并忽略.log后缀名的文件

python 列出目录下的所有文件或目录（包括子目录） python 列出所有目录 子目录