HDFS目录配额(quota)不足导致写文件失败

Tianyiyun · · 12 次点击 · · 开始浏览    

本文分享自天翼云开发者社区《HDFS目录配额(quota)不足导致写文件失败》,作者:5****m

问题背景与现象
给某目录设置quota后,往目录中写文件失败,出现如下问题“The DiskSpace quota of /tmp/tquota2 is exceeded”。

[omm@189-39-150-115 client]$ hdfs dfs -put switchuser.py  /tmp/tquota2
put: The DiskSpace quota of /tmp/tquota2 is exceeded: quota = 157286400 B = 150 MB but diskspace consumed = 402653184 B = 384 MB


可能原因
目录配置的剩余的空间小于写文件实际需要的空间。

原因分析
HDFS支持设置某目录的配额,即某限制某目录的下的文件最多占用空间大小,例如如下命令是设置/tmp/tquota 目录最多写入150MB的文件(文件大小*副本数)。
hadoop dfsadmin -setSpaceQuota 150M /tmp/tquota2

使用如下命令可以查看目录设置的配额情况,SPACE_QUOTA是设置的空间配额,REM_SPACE_QUOTA是当前剩余的空间配额。
hdfs dfs -count -q -h -v /tmp/tquota2

日志分析,如下日志说明写入文件需要消耗384M,但是当前的空间配额是150M,因此空间不足。写文件前,需要的剩余空间是:块大小*副本数,128M*3副本=384M。

[omm@189-39-150-115 client]$ hdfs dfs -put switchuser.py  /tmp/tquota2
put: The DiskSpace quota of /tmp/tquota2 is exceeded: quota = 157286400 B = 150 MB but diskspace consumed = 402653184 B = 384 MB

解决办法
增加配额大小,即重新设置目录的配额大小。
hadoop dfsadmin -setSpaceQuota 150G /目录名

清空配额。
hdfs dfsadmin -clrSpaceQuota /目录名

12 次点击  
加入收藏 微博
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传