修复了Pandas包的一个bug

俊红的数据分析之路

共 2285字,需浏览 5分钟

 ·

2022-04-25 19:06

这篇文章介绍Pandas中一个bug,昨天研究了此bug出现的原因,及修改措施。感兴趣的可以看一下,获取在日后能对你有一定帮助。

1 还原这个bug

导出含有层级关系的列头时,会多写出一个空行,此bug稳定出现。

2 定位问题

经过调试发现,锁定此bug出现的位置到excel.py模块,如下所示:

理一理excel.py模块封装的方法,经过调试发现,write方法中下面几行代码是关键逻辑:

        formatted_cells = self.get_formatted_cells()
        
        writer.write_cells(
            formatted_cells,
            sheet_name,
            startrow=startrow,
            startcol=startcol,
            freeze_panes=freeze_panes,
        )

写入到excel过程,实际是逐个单元格写入到excel过程,主要调用封装的get_formatted_cells方法得到formatted_cells

再进去看看get_formatted_cells方法,它使用chain串接了两个生成器,然后逐一yield吐出cell:

    def get_formatted_cells(self):
        for cell in itertools.chain(self._format_header(), self._format_body()):
            cell.val = self._format_value(cell.val)
            yield cell

而串接的这两个迭代器,一个是self._format_header(),另一个是self._format_body()

经过调试,在这里就能找到bug出现的原因,self._format_body()是有问题的,经过格式化数据域部分。拿文章一开始的case举例,取值为a的单元格对应的行索引被错误的标记为3,注意行索引是从0开始的。很明显,实际应该是2

3 修复bug

找到原因后,进一步下钻到底层方法,经过调试,进一步锁定到self._format_body()中调用的 _format_regular_rows方法,里面与行编号相关联的属性是self.rowcounter,所以重点关注与它相关的写入逻辑:

    def _format_regular_rows(self):
        has_aliases = isinstance(self.header, (tuple, list, np.ndarray, Index))
        if has_aliases or self.header:
            self.rowcounter += 1

        # output index and index_label?
        if self.index:
            # check aliases
            # if list only take first as this is not a MultiIndex
            if self.index_label and isinstance(
                self.index_label, (list, tuple, np.ndarray, Index)
            ):
                index_label = self.index_label[0]
            # if string good to go
            elif self.index_label and isinstance(self.index_label, str):
                index_label = self.index_label
            else:
                index_label = self.df.index.names[0]

            if isinstance(self.columns, ABCMultiIndex):
                self.rowcounter += 1

一共有2处可能的写入,其中第二处写入,也就是上面代码块的最后两行,是bug出现的原因。经过仔细分析,在级联表头(ABCMultiIndex)写入excel场景中,行索引已经在self._format_header()中,行索引已经被加1,所以再在此处对其加1,是重复的:

            if isinstance(self.columns, ABCMultiIndex):
                self.rowcounter += 1

所以修改方法就是对其标注即可。

4 修复bug后

修复后,经过测试级联列头、单列头,都正常,不再有多余的空行。

以上,此bug我已经提交到github的pandas中,希望帮助到更多的开发者。

END -
对比Excel系列图书累积销量达15w册,让你轻松掌握数据分析技能,可以在全网搜索书名进行了解选购
浏览 53
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报