PyTorch có một package có tên là torchvision được sử dụng để tải và chuẩn bị tập dữ liệu. Bao gồm hai chức năng cơ bản là Dataset và DataLoader, giúp cho việc chuyển đổi và tải tập dữ liệu.
1. Dataset
Tập dữ liệu được sử dụng để đọc và chuyển đổi một điểm dữ liệu từ tập dữ liệu đã cho. Cú pháp cơ bản để triển khai như sau:
trainset = torchvision.datasets.CIFAR10(root = './data', train = True,
download = True, transform = transform)DataLoader được sử dụng để shuffle và batch dữ liệu. Nó có thể được sử dụng để tải dữ liệu song song với các đa xử lý.
trainloader = torch.utils.data.DataLoader(trainset, batch_size = 4,
shuffle = True, num_workers = 2)Ví dụ : Tải tệp CSV :
Chúng tôi sử dụng package Python Panda để tải tệp csv. File gốc có định dạng như sau: (tên ảnh, 68 mốc – mỗi mốc có tọa độ x, y).
landmarks_frame = pd.read_csv('faces/face_landmarks.csv')
n = 65
img_name = landmarks_frame.iloc[n, 0]
landmarks = landmarks_frame.iloc[n, 1:].as_matrix()
landmarks = landmarks.astype('float').reshape(-1, 2)