Python笔记之Pytorch中Dataset类
大模型开发/技术交流
- LLM
3天前11看过
Pytorch中Dataset类
Pytorch为我们提供了Dataset类 ，它是一个的Python的 类抽象基类，用于表示数据集。这个类定义了一些基本的接口，它的子类应该实现这些接口。让我们一步一步地来理解这段代码。
类定义和文档字符串
pythonclass Dataset(object):"""An abstract class representing a Dataset.All other datasets should subclass it. All subclasses should override``__len__``, that provides the size of the dataset, and ``__getitem__``,supporting integer indexing in range from 0 to len(self) exclusive."""
-
class Dataset(object):定义了一个名为Dataset的类，它继承自object类。在 Python 中，所有的类都隐式地继承自object类，所以这里显式地写出来是为了明确表示这一点。 -
文档字符串（docstring）提供了关于这个类的信息。它说明
Dataset是一个抽象类，用于表示数据集。所有其他的数据集类都应该继承自这个类。所有子类都应该重写__len__和__getitem__方法。
__len__ 方法
pythondef __len__(self):raise NotImplementedError
-
__len__是一个特殊方法，当你使用内置的len()函数时，Python 会自动调用它。 -
在这个类中，
__len__方法被定义为抛出NotImplementedError异常。这意味着如果你直接实例化Dataset类并尝试获取其长度，Python 会抛出一个错误，提示这个方法还没有实现。 -
子类应该重写这个方法，提供一个返回数据集大小的实现。
__getitem__ 方法
pythondef __getitem__(self, index):raise NotImplementedError
-
__getitem__是另一个特殊方法，当你使用索引访问对象的元素时，Python 会自动调用它。 -
同样，这个方法在这里也是抛出
NotImplementedError异常，表示这个方法需要在子类中实现。 -
子类应该重写这个方法，使得可以通过索引来访问数据集中的元素。
__add__ 方法
pythondef __add__(self, other):return ConcatDataset([self, other])
-
__add__是一个特殊方法，当你使用+运算符来连接两个对象时，Python 会自动调用它。 -
在这个类中，
__add__方法被定义为返回一个新的ConcatDataset对象，这个对象包含了当前对象和另一个对象。 -
ConcatDataset可能是另一个类，用于将两个数据集合并成一个更大的数据集。这个类没有在代码中定义，但它应该是Dataset类的子类。
总结
这个
Dataset 类定义了一个数据集的基本接口，包括获取数据集的大小和通过索引访问数据集中的元素。它还提供了一个方法来合并两个数据集。这个类是抽象的，意味着你不能直接实例化它，而应该创建它的子类，并在子类中实现必要的方法。
如果你想要开始学习如何使用这个类，你可以创建一个继承自
Dataset 的子类，并实现 __len__ 和 __getitem__ 方法。例如：
pythonclass MyDataset(Dataset):def __init__(self, data):self.data = datadef __len__(self):return len(self.data)def __getitem__(self, index):if index < 0 or index >= len(self.data):raise IndexError("Index out of range")return self.data[index]
这个
MyDataset 类接受一个数据列表作为参数，并实现了获取数据集大小和通过索引访问元素的方法。这样，你就可以创建 MyDataset 的实例，并使用它来存储和访问数据了。
————————————————
版权声明：本文为稀土掘金博主「在逃阿刁」的原创文章
原文链接：https://juejin.cn/post/7430535371325587465
如有侵权，请联系千帆社区进行删除
评论
