Nêu ví dụ minh hoạ tính ưu việt của máy tính khi xử lí dữ liệu lớn.

Một số ví dụ minh họa trong sách giáo khoa:

Vào năm 2020, GPT-3 của OpenAI đã thu thập khoảng 45 TB dữ liệu thô từ sách, tạp chí, trang web,... với nhiều chủ đề khác nhau. Sau đó, dữ liệu thô được xử lí để tạo ra 570 GB dữ liệu vào cho mô hình học máy¹. Lượng dữ liệu thô thu thập dùng cho GPT-3 tương đương khoảng 200 000 giờ video Full HD hoặc 15 triệu giờ âm thanh định dạng MP3. Các phiên bản khác nhau của GPT-3 sử dụng từ 125 triệu đến 175 tỉ tham số (phụ thuộc vào số tầng trong mạng học sâu của mô hình). Theo ước tính, việc đào tạo mô hình GPT-3 với 175 tỉ tham số cần hàng trăm năm với 1 GPU V100. Để giảm thời huấn luyện mô hình học máy, OpenAI đã sử dụng 1024 GPU NVIDIA A100 để huấn luyện mô hình GPT-3 trong 34 ngày².