66B là một mô hình ngôn ngữ lớn có quy mô khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều ngữ cảnh. Mục tiêu của 66B là cân bằng giữa hiệu suất và khả năng triển khai trên nhiều nền tảng, từ máy chủ doanh nghiệp đến thiết bị edge.
\n\n66B dựa trên kiến trúc transformer với cơ chế attention tái sử dụng. Độ sâu và kích thước tham số cho phép mô hình nắm bắt các mẫu ngôn ngữ phức tạp và mối quan hệ dài hạn giữa từ ngữ. Dữ liệu huấn luyện đến từ nhiều nguồn ngôn ngữ và phong cách viết để tăng tính đa dạng của mô hình.
\n
Quá trình đào tạo bao gồm tối ưu hóa trên các cụm tính toán lớn, điều chỉnh để giảm thiểu thiên lệch và tăng tính tin cậy của đầu ra. 66B có thể thực hiện nhiệm vụ tổng hợp văn bản, trả lời câu hỏi, tóm tắt và hỗ trợ viết code ở mức độ cạnh tranh với các mô hình lớn khác, nhưng với chi phí tính toán và năng lượng tương đối thấp hơn so với những mô hình có quy mô lớn hơn.
\n
66B được ứng dụng trong soạn thảo nội dung, hỗ trợ khách hàng, phân tích ý kiến và trợ lý ảo. Tuy nhiên, vẫn tồn tại thách thức liên quan đến an toàn, sai lệch thông tin và chi phí vận hành. Việc giám sát và kiểm soát đầu ra, đi kèm với công cụ kiểm tra chất lượng, là phần quan trọng của quá trình triển khai mô hình này.
