66B là một mô hình ngôn ngữ lớn (LLM) có khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều ngữ cảnh khác nhau. Mục tiêu của 66B là cân bằng giữa hiệu suất, chi phí và khả năng mở rộng, từ đó hỗ trợ các ứng dụng như trả lời câu hỏi, sinh nội dung và phân tích ngữ nghĩa.
Kiến trúc dựa trên transformer với nhiều lớp tự chú ý và các mạng feed-forward. Số lượng lớp và kích thước embedding được tối ưu cho hiệu suất trên nhiều tác vụ. Dữ liệu huấn luyện thường bao gồm văn bản từ web, sách và tài liệu công khai khác, được xử lý để giảm thiểu rủi ro và tăng tính đa dạng ngôn ngữ.
Trên các benchmark chuẩn, 66B cho thấy khả năng hiểu và sinh văn bản mạch lạc, thậm chí với các nhiệm vụ phức tạp như summarization và trả lời câu hỏi mở. Mô hình cũng được tinh chỉnh cho các lĩnh vực cụ thể, từ giáo dục đến chăm sóc khách hàng, nhằm tối ưu hiệu quả và độ tin cậy.
Với khả năng xử lý nhiều ngôn ngữ, 66B có thể hỗ trợ nội dung đa ngôn ngữ và giao tiếp toàn cầu. Tuy nhiên, cần các quy trình kiểm soát rủi ro, giảm thiểu thiên vị và thông tin sai lệch, cùng với các biện pháp bảo mật và giám sát nội dung người dùng.
