程序员会遇到一种情况，一个bug排查到最后是由一个很小的问题导致的。在昨天的日常搬砖中遇到一个问题，耽搁了我大半天的时间，最后查明原因让我很无语。

首先介绍一下背景，我是做算法模型训练，目前手上的工作是迭代一个算法，添加最新的数据集训练出一个精度更好的模型。

拿到标注好的xml的数据集，我首先做了一个格式的转换和数据集的拆分。使用的代码如下：

import os
import shutil
import xml.etree.ElementTree as ET

def list_dir(path: str) -> str:
    """列出目录下所有的文件"""
    for item in os.listdir(path):
        yield item


def parse_xml():

    base_path = "/home/lijinkui/Desktop/head_shoudler_20240824/头肩检测_V1.13_20240823083458_V1"
    label_dir = f"{base_path}/gt"
    count = 0

    test_obj = open(f"{base_path}/test/test_ssd.txt", "a")
    # train_obj = open(f"{base_path}/train/train.txt", "a")


    for item in list_dir(label_dir):
        xml_path = f"{label_dir}/{item}"
        # print(xml_path)
        # 从文件中解析XML，获取根元素

        root = ET.parse(xml_path).getroot()
        filename = root.find('filename').text.strip()
        width = int(root.find('size').find('width').text)
        height = int(root.find('size').find('height').text)
        # print(width, height)
        count += 1
        print(count)
        box_list = []
        for index, label in enumerate(root.iter('object')):
            category = label.find('name').text

            bbox = label.find('bndbox')
            x1 = bbox.find('xmin').text
            y1 = bbox.find('ymin').text
            x2 = bbox.find('xmax').text
            y2 = bbox.find('ymax').text

            box_list.extend([x1, y1, x2, y2, "1"])
        txt_string = " ".join(box_list) + "\n"
        if count <= 1200:
            # test_obj.write(txt_string)
            # shutil.move(f"{base_path}/images/{filename}", f"{base_path}/test/images/{filename}")
            test_obj.write(f"# 20240824/{filename} \n")
            test_obj.write(txt_string)
        # else:
        #     train_obj.write(txt_string)
        #     # shutil.copy(f"{base_path}/images/{filename}", f"{base_path}/train/images/{filename}")
    test_obj.close()
    # train_obj.close()


if __name__ == '__main__':
    parse_xml()

将前1200张保存为测试集

if count <= 1200:
    # test_obj.write(txt_string)
    # shutil.move(f"{base_path}/images/{filename}", f"{base_path}/test/images/{filename}")
    test_obj.write(f"# 20240824/{filename} \n")
    test_obj.write(txt_string)

保存好的格式是：

# meili/00320.jpg                                                                                                       
1796 550 1861 618 1
# meili/00330.jpg
1674 515 1749 585 1
# meili/00340.jpg
1527 473 1609 545 1
# meili/00350.jpg
1373 457 1455 531 1

然后我就配置好参数，愉快的启动了训练。结果还没跑多久，就报错了。经过排查，报错的代码如下：

def converter(args):
    im_file, image_name, labels = args
    try:
        # 这种方式直接获取图片的信息，加载速度快，但是会漏掉一些图片崩溃的情况
        # im = Image.open(im_file)
        # im.verify()  # PIL verify
        # img_w, img_h = exif_size(im)  # (width, height)

        # 采用opencv读取能够发现数据集中崩溃的图片，不至于影响训练
        im = cv2.imread(im_file)

        img_h, img_w = im.shape[:2]

        tmp = []
        for l, x1, y1, x2, y2 in labels:
            x, y, w, h = (x1 + x2) // 2, (y1 + y2) // 2, x2 - x1, y2 - y1
            x, y, w, h = x / img_w, y / img_h, w / img_w, h / img_h
            tmp.append([l, x, y, w, h])
        return image_name, tmp
    except Exception as e:
        print("-------------------------")
        print(im_file)
        print(f"{im_file} has broken..: {e}")
        return None, None

报错的信息是：20240824/0f4963ca91ff7c26d66c69b028415243b8a8a405.jpg has broken ... : NoneType has no shape。

我第一反应就是这个图片可能是损坏了，最简单的验证方法就是用opencv的库show一下。按照这个思路我打开了一个python终端，在终端中show图片。

>>> import cv2 as cv
>>> 
>>> image = cv.imread("/h3c_data/data/recognize_new_data/project_dataset/HeadShoulder/Test/Image/20240824/002bf647508fac15babe697c625c3004589b1607.jpg")
>>> 
>>> image.shape
(1080, 1920, 3)
>>>

这么检查下来，发现也没有问题啊，图片明明没有损坏。
然后我猜测难道是图片的权限或用户组问题导致不可读吗？于是检查了文件的权限

读写权限和用户组都没问题。奇怪了，到底是啥问题呢？

这时我就准备祭出断点大招，在图片读取之前打一个断点，断点一步步向下走，看看是哪里的问题。结果断点也打不上。因为这个函数是放在线程池中执行的，每次8个线程并发执行，遇到断点就直接退出了。

with Pool(NUM_THREADS) as pool:
    pbar = tqdm(pool.imap_unordered(converter, zip(image_pathes, image_names, labels)),
                desc=desc, total=len(image_pathes))
    for image_name, tmp in pbar:
        if image_name:
            dst_ret.write("%s" % image_name)
            for l, *info, in tmp:
                line = (l, *info)
                dst_ret.write((" %d" + " %g"*len(info)) % line)
            dst_ret.write("\n")

断点也不行，那我就没招了。其实我打端点就是想看看文件的路径是不是有问题，既然不能看每一个，那我干脆就看所有的。所以我打印了所有图片路径列表的变量，于是发现了问题。
原来每一个图像路径的后面都多了一个空格，我恍然大悟，怪不得用python终端show的时候没有发现，终端里面不打印空格标识。我从终端里复制图像路径，根本不知道路径的后面还有一个空格。

而且回过头来再看空格是哪来的，就是在数据集处理的时候随手多打了一个空格。

这个问题本来不难发现，但是由于第一空格在终端里面不展示导致没发现这个空格，第二想要断点调试时由于程序在线程池中断点也不生效，导致也不能断点调试变量，不能发现这个空格。
在一些巧合之前，让我折腾了大半天的时间，最后才解决这个问题。程序员的日常就是和各种bug斗智斗勇。