如何使用scala从HDFS中的文件夹获取最新修改的文件

Question

对 Scala 还很陌生，任何人都可以帮助我解决一个场景，即我需要获取具有最新修改日期的文件。

有两种情况。考虑 2 个目录，

• dir1（每个子目录中都有子目录和文件）
• dir2（没有子目录，但只有文件）

对于场景 1 - 我需要在最新修改日期目录中获取具有最新修改日期的文件

对于场景 2 - 我只需要最新修改的最新文件。

请以任何可能的方式帮助我，我尝试了 java.io 文件处理实验，但没有取得任何好的进展。

Answer 1

这是我的（未经测试的）代码，用于在嵌套目录上执行此操作：

def latest(file: File): File =
  if (file.isDirectory) {
    latest(file.listFiles.maxByOption(_.lastModified).getOrElse(file))
  } else {
    file
 }

这是尾递归，将编译为一个简单的循环。