当前位置 : 主页 > 网络安全 > 测试自动化 >

如何自动化Hadoop垃圾清理

来源:互联网 收集:自由互联 发布时间:2021-06-19
我可以通过运行hadoop fs -expunge清除我的用户文件夹下的垃圾 这样可以删除比fs.trash.interval值更旧的文件.是否有自动恢复以恢复磁盘空间? 当我运行expunge时,我也会看到以下输出 [cloude
我可以通过运行hadoop fs -expunge清除我的用户文件夹下的垃圾
这样可以删除比fs.trash.interval值更旧的文件.是否有自动恢复以恢复磁盘空间?

当我运行expunge时,我也会看到以下输出

[cloudera @ localhost conf] $hadoop fs -expunge
14/07/17 15:43:54 INFO fs.TrashPolicyDefault:Namenode垃圾桶配置:删除间隔= 1分钟,Emptier间隔= 0分钟.

空间间隔为0表示自动清理已关闭.这个值配置在哪里?

The code表明它被称为fs.trash.interval.

编辑:对不起,误解了这个问题.

更空的实现本身是here,我们可以看到相关的常量似乎是FS_TRASH_CHECKPOINT_INTERVAL_KEY.

查看here显示该键为fs.trash.checkpoint.interval.

编辑:终于找到了xml conf条目here.

网友评论