自己打包一个数据集代码案例——使用Numpy计算框架自定义一个类似MINST的数据集

# 图片大小转换函数 这种只是简单的大小变换 会导致图片变形只作为例子使用def resize_image(img, target_size=(500, 500)): # img 是待处理图片 target_size是目标大小，如(500, 500)      return img.resize(target_size, Image.Resampling.LANCZOS)

import osfrom PIL import Imageimport numpy as npimport struct"""自定义图片数据集 缺少的包需要自己按照 pip(3) install 包名"""# 图片大小转换函数def resize_image(img, target_size=(500, 500)): # img 是待处理图片 target_size是目标大小，如(500, 500)      return img.resize(target_size, Image.Resampling.LANCZOS)# 把处理后的图片打包成类似MINST的二进制格式 数据集的前部分是数据集的描述内容 因此需要添加文件头  类似于MINST的真实图片都是从16字节开始的def save_images_as_minst(file_path, images):      """    将图像数据保存为 MNIST 格式    :param file_path:    :param images: 图像数据，形状为 (num_samples, height, width)    :return:    """      num_samples, height, width = images.shape      with open(file_path, 'wb') as f:          # 写入文件头          f.write(struct.pack('>IIII', 0x00000803, num_samples, height, width))          # 写入图像数据          f.write(images.tobytes())# 自定义数据集函数def custom_data(ants_path):      # 收集向量化的图片列表      image_data = []      for path in os.listdir(ants_path):            ant_path = os.path.join(ants_path, path)      # 获取图片完整路径            image = Image.open(ant_path)            # print(image) # 打印蚂蚁图片类型            img = resize_image(image) # 变换之后的图片大小            # print(img)            # 在对图片进行向量化之前 也可以指定图片对模式 L-灰度模式 RGB-彩色 PIL一共有九种模式 读者可以自信百度            # 目前图片的默认模式是RGB模式 而MINST数据集是灰度模式 也就是L 表示黑白色 读者可以根据自己的需求进行处理 或采用默认即可            img = img.convert('L') # 这里由于图片格式不一致 导致其通道数不同 因此这里使用最简单的灰度图——L 来统一图片 方便后续处理            img = np.array(img)        # 把向量化的图片放到一个列表中            image_data.append(img)      # print("image_data: ", image_data)      # 统一转换成numpy 数组  方便使用二进制存储      data = np.array(image_data)      print("转换后的图片数组: ", data)      # 打包文件名 保存在当前目录下 data是待打包的数据      save_images_as_minst("custom_images_ants_ubyte", data)ants_path = "./ants_image"custom_data(ants_path)

# 读取打包的文件def read_image(file_path):      with open(file_path, 'rb') as f:            magic, num, rows, cols = struct.unpack('>IIII', f.read(16))            images = np.frombuffer(f.read(), dtype=np.uint8).reshape(num, rows, cols)      return images  for img in read_image("./custom_images_ants_ubyte"):      im = Image.fromarray(img)      print(im)