Java自学者论坛

 找回密码
 立即注册

手机号码,快捷登录

恭喜Java自学者论坛(https://www.javazxz.com)已经为数万Java学习者服务超过8年了!积累会员资料超过10000G+
成为本站VIP会员,下载本站10000G+会员资源,会员资料板块,购买链接:点击进入购买VIP会员
查看: 20|回复: 0

[Hadoop] - 异常Cannot obtain block length for LocatedBlock

[复制链接]
  • TA的每日心情
    奋斗
    昨天 19:16
  • 签到天数: 66 天

    [LV.6]常住居民II

    1348

    主题

    1348

    帖子

    3万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    32858
    发表于 2021-6-10 22:36:15 | 显示全部楼层 |阅读模式

    在Flume NG+hadoop的开发中,运行mapreduce的时候出现异常Error: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-235416765-192.168.30.244-1430221967536:blk_1073889944_149172; getBlockSize()=45839; corrupt=false; offset=0; locs=[10.188.10.98:50010, 10.188.10.95:50010, 10.188.10.245:50010]},我们通过fsck命令发现当前文件处于正在写的过程中,而且文件内容为空。截图如下:

    所以在我们获取数据的时候,直接导致出现异常。那么针对这种情况,我的想法是:第一种方案立即将这个文件写出到磁盘上去,第二种将这个文件删除。


    但是第一种解决方案我现在也不知道怎么弄,所以在这里我直接选择删除hadoop dfs -rm xxxxx即可


     

    采用保留部分数据:

      1. 先cp到一个hdfs的目录中

      2. 再删除原本的那个文件

      3. 在将copy的文件复制回去 

    哎...今天够累的,签到来了1...
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|手机版|小黑屋|Java自学者论坛 ( 声明:本站文章及资料整理自互联网,用于Java自学者交流学习使用,对资料版权不负任何法律责任,若有侵权请及时联系客服屏蔽删除 )

    GMT+8, 2021-6-22 21:27 , Processed in 0.060002 second(s), 29 queries .

    Powered by Discuz! X3.4

    Copyright © 2001-2020, Tencent Cloud.

    快速回复 返回顶部 返回列表