66B là một mô hình ngôn ngữ quy mô lớn với khoảng 66 tỷ tham số. Mục tiêu của 66B là nắm bắt các mẫu ngôn ngữ ở nhiều ngữ cảnh, từ văn bản ngắn tới bài viết dài, và cung cấp các phản hồi có tính mạch lạc, thấu hiểu ngữ cảnh.
66B dựa trên kiến trúc transformer, với cơ chế attention cho phép xử lý ngữ cảnh dài và tạo văn bản tự nhiên. Với quy mô lớn, nó có khả năng trả lời câu hỏi, tóm tắt và sáng tác ở nhiều phong cách khác nhau.
Quá trình huấn luyện của 66B kết hợp nhiều nguồn dữ liệu văn bản ở quy mô lớn, từ sách và bài viết đến nội dung web. Dữ liệu được làm sạch và cân bằng để tăng tính đại diện ngôn ngữ, nhưng vẫn cần giám sát để hạn chế sai lệch và phát sinh nội dung gây hại.
66B cho thấy tiềm năng lớn, nhưng cũng đối mặt với thách thức về an toàn, riêng tư và thiên vị. Để sử dụng có trách nhiệm, cần xác thực đầu ra, kiểm tra nguồn và thiết kế các biện pháp phòng hộ nhằm ngăn ngữ cảnh bị lợi dụng hoặc lan truyền thông tin sai lệch.