66B là một mô hình ngôn ngữ lớn với khoảng 66 tỷ tham số, được thiết kế dựa trên kiến trúc Transformer và được huấn luyện trên tập dữ liệu ngôn ngữ đa dạng để thực hiện nhiều tác vụ như sinh văn bản, trả lời câu hỏi và hỗ trợ viết mã.
Mô hình cơ bản dựa trên các khối self attention nhiều đầu và mạng feed forward kết nối giữa các lớp, với chuẩn hóa và vị trí mã hóa để nắm bắt trật tự văn bản. Số tham số lớn ảnh hưởng đến khả năng ghi nhớ và khái niệm, nhưng cũng đòi hỏi tài nguyên tính toán và bộ nhớ lớn trong quá trình huấn luyện và suy luận.
66B có khả năng sinh văn bản tự nhiên, tóm tắt nội dung, dịch ngôn ngữ và hỗ trợ viết mã. Nó có thể thực hiện suy luận phức tạp và trả lời câu hỏi dựa trên ngữ cảnh, nhưng người dùng cần kiểm tra đầu ra do có thể sai lệch hoặc thiên lệch dữ liệu gốc.
