66b là một mô hình ngôn ngữ có quy mô gần 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản và thực hiện nhiều tác vụ AI khác nhau. So với các mô hình có kích thước nhỏ hơn, 66b có khả năng nắm bắt ngữ cảnh sâu và mối liên hệ phức tạp giữa các khái niệm.
Kiến trúc dựa trên Transformer với nhiều lớp attention, tối ưu cho sự mở rộng của tham số và hiệu suất inference. Quá trình huấn luyện kết hợp dữ liệu từ nhiều nguồn, bao gồm văn bản tự do, tài liệu kỹ thuật và dữ liệu đối thoại, cùng với tuning theo instruction để cải thiện tính hướng dẫn và sự an toàn.
Khả năng nắm bắt ngữ cảnh dài cho phép 66b thực hiện hỏi đáp, tóm tắt, viết sáng tạo và hỗ trợ lập trình. Nó có thể được tùy biến cho các ngữ cảnh chuyên ngành như y tế, pháp lý hay kỹ thuật, tuy nhiên cần thận trọng về độ tin cậy và tránh lệch lạc thông tin.
Hiệu suất được đo bằng các benchmark chuẩn và các đánh giá thực tế trên các tác vụ như sinh văn bản, hệ thống trả lời và tổng hợp thông tin. Mô hình 66b cho thấy hiệu suất ấn tượng ở nhiều bài toán, nhưng chi phí tính toán và yêu cầu hạ tầng vẫn còn ở mức cao. Các hạn chế như dữ liệu thiên về chủ đề nhất định và bias cần được giám sát liên tục.
