破案了....
苏三说技术
共 2731字,需浏览 6分钟
·
2021-11-07 14:35
报 not retrying deletion
异常版本: kafka_2.11-2.0.0
删除前在执行重分配,但是失败了,强制停止数据迁移,手动删除了节点 /admin/reassign_partitions
再次重新删除提示异常 Topic test is already marked for deletion
所有Broker均在线 delete.topic.enable=true
检查了每个Broker都没有副本被删除,甚至也没有被标记为 --delete
not retrying deletion
Topic test is already marked for deletion
kafka_2.11-2.0.0
源码,全局搜索关键字is already marked for deletion
/amin/delete_topics/{topicName}
问题在于为什么没有执行删除呢?
所以下一个突破口就在于
通过源码我们知道,出现了这个异常表示的是:
当前这个topic不符合重试删除的条件
在删除队列
topicsToBeDeleted
里面;这个队列是从zk节点/amin/delete_topics
获取的数据当前还未开始对该Topic进行删除; 判定条件是
没有副本处于开始删除的状态「ReplicaDeletionStarted」
(当然如果delete.topic.enable=false
这条肯定满足)主题没有被标记为不符合删除条件; 不符合删除条件的都保存在
topicsIneligibleForDeletion
/amin/delete_topics
节点下面有数据, 线索排除让对方查询了 Deletion started for replicas
这个日志,日志表示的是哪些副本状态变更成「开始删除」 ,日志有查询到如下
然后让查询Dead Replicas (%s) found for topic %s
(这个表示的是哪些副本离线了) 也查询到如下
从日志,和源码我们可以得出,
Not retrying deletion of topic
的Dead Replicas (%s) found for topic %s
的日志可以得知,前面2个说完了,接着说一下topicsIneligibleForDeletion
到底是什么,什么情况下才会放到这里面来呢?
Controller初始化的时候判断条件
Tips: kafka_2.11-2.0.0 没有这个步骤
数据正在迁移中 判断数据是否在迁移中是通过判断topic的是否存在要新增或者删除的副本, 查询
/brokers/topics/{topicName}
节点中有没有这两个属性值topic副本所在Broker有宕机导致的副本不在线
副本所在的数据目录
log.dirs
存在脱机磁盘
发起的 StopReplica
请求返回异常,加入不符合删除条件删除的过程中,发现该Topic 有副本重分配的操作
则加入不符合删除条件删除的过程,有副本下线了,则加入不符合删除条件 开始执行 副本重分配的操作
, 则加入不符合删除条件
确保 delete.topic.enable=true
;配置文件查询确保当前该topic没有进行 「副本重分配」 , 查询zk节点 /admin/reassign_partitions
的值是否有该topic、或者 节点/brokers/topics/{topicName}
节点里面的属性adding_replicas
、removing_replicas
有没有值确保所有副本所属Broker均在线 确保副本均在线, (Broker在线并且 log.dirs
没有脱机), 搜日志"Dead Replicas "
关键字查询到哪些副本异常
留下悬念, 下期再见!
往期推荐
2021-09-06
2021-08-30
2021-08-25
评论