Blog / AI / Deep Article
Vì sao mô hình MoE có hàng chục tỷ tham số nhưng chỉ chạy một phần cho mỗi token? Phân tích router, Switch Transformer, Mixtral, chi phí GPU và cách đánh giá thực tế.
Bạn đang chọn mô hình AI để chạy trên GPU. Một sản phẩm quảng bá có gần 50 tỷ tham số, nhưng chỉ khoảng 13 tỷ tham số hoạt động mỗi khi sinh token. Liệu có thể dùng chiếc GPU vốn chỉ đủ chạy mô hình 13B? Không thể kết luận như vậy. Mô hình có thể thuộc kiến trúc Mixture of Experts (MoE), trong đó nhiều nhóm trọng số cùng tồn tại nhưng chỉ một phần được chọn để xử lý từng token. Cần phân biệt số phép tính với bộ nhớ cần giữ.
MoE tăng dung lượng tham số mà không buộc mỗi token tính toàn bộ; đổi lại là chi phí định tuyến, bộ nhớ và truyền dữ liệu.
Tổng tham số là lượng trọng số mô hình sở hữu; tham số kích hoạt là phần dùng để tính cho một token. Mô hình dense dùng phần lớn trọng số chung, còn MoE chọn một vài mạng con ở những lớp nhất định.
Hãy hình dung xưởng có tám dây chuyền. Một đơn hàng chỉ đi qua hai dây chuyền, nhưng xưởng vẫn phải bố trí cả tám. Chi phí xử lý đơn hàng giảm không có nghĩa chi phí sở hữu nhà xưởng cũng giảm tương ứng.
“Chuyên gia” không phải nhân viên chỉ biết toán, văn hay tiếng Việt; đó là mạng con học từ dữ liệu, không nhất thiết có ranh giới chủ đề rõ ràng.
Một lớp Transformer thường có khối attention để phối hợp thông tin giữa các vị trí trong chuỗi và khối feed-forward (FFN) để biến đổi biểu diễn của từng vị trí. Trong nhiều thiết kế MoE, khối FFN được thay bằng nhiều FFN riêng biệt. Mỗi FFN ấy được gọi là một expert.
Attention và những phần dùng chung vẫn chạy. Chọn hai trong tám expert không có nghĩa chỉ một phần tư toàn bộ Transformer được sử dụng.
Router (bộ định tuyến) nhận vector biểu diễn token, chấm điểm các expert rồi chọn nơi xử lý. Quyết định này được học, không phải quy tắc thủ công.
Giả sử một lớp có tám expert, ký hiệu E1 đến E8. Router tính tám điểm cho một token. Trong thiết kế top-2, hai expert có điểm cao nhất được chọn; kết quả của chúng được kết hợp bằng trọng số định tuyến. Một token khác, hoặc cùng token ở lớp tiếp theo, có thể được gửi đến cặp expert khác.
Có thể mô tả ý tưởng bằng công thức giản lược:
y = gₐ(x)Eₐ(x) + gᵦ(x)Eᵦ(x)
x là vector đầu vào, Eₐ/Eᵦ là hai expert, còn gₐ/gᵦ là trọng số định tuyến. Công thức chỉ minh họa, không mô tả mọi chi tiết triển khai.
Router chọn theo token và lớp, không chọn một chuyên gia cố định cho cả câu hỏi. Các expert không được chọn không chạy FFN cho token ấy. Đây mới là cơ chế tiết kiệm phép tính.
Trong bài *Switch Transformers*, William Fedus, Barret Zoph và Noam Shazeer đơn giản hóa định tuyến: mỗi token trong lớp Switch đi tới một expert. Thiết kế này giảm độ phức tạp khi chọn và phối hợp nhiều expert. Nghiên cứu công bố cải thiện tốc độ tiền huấn luyện trên những cấu hình so sánh với T5, nhưng không chứng minh mọi chatbot dùng MoE đều nhanh hơn một tỷ lệ cố định.
*Mixtral of Experts* mô tả hướng khác: Mixtral 8x7B có tám expert FFN mỗi lớp, router chọn hai expert cho từng token. Nhóm tác giả báo cáo khoảng 47 tỷ tham số tổng cộng và 13 tỷ tham số kích hoạt trong suy luận. Tài liệu Hugging Face mô tả tổng tham số khoảng 45 tỷ theo cách đếm của họ. Hai con số tổng khác nhau không làm thay đổi cơ chế top-2; chúng nhắc người đọc kiểm tra cách định nghĩa tham số trước khi so sánh.
Tên “8x7B” không phải tám mô hình 7B hoàn chỉnh: nhiều lớp dùng chung, nên phép chia đơn giản sẽ sai.
Giả sử 47 tỷ trọng số được lưu ở dạng 16 bit, tức khoảng hai byte mỗi trọng số. Phép nhân đơn giản cho kết quả gần 94 GB chỉ để chứa trọng số, chưa tính KV cache, bộ nhớ tạm và overhead. Đây là phép tính minh họa, không phải đo đạc trên một bản triển khai cụ thể.
Khi chỉ kích hoạt 13 tỷ tham số, mô hình có thể cần ít phép nhân ma trận hơn so với việc kích hoạt toàn bộ 47 tỷ. Nhưng router có thể chọn những expert khác nhau cho các token khác nhau. Vì vậy, máy chủ vẫn phải giữ hoặc truy cập được tất cả trọng số expert có khả năng được chọn.
Nếu VRAM không đủ, hệ thống phải chia expert sang GPU khác hoặc tải từ bộ nhớ chậm hơn. 13B active không có nghĩa chạy được trên GPU chỉ đủ chứa dense 13B.
Lượng tử hóa có thể giảm dung lượng lưu trọng số, nhưng lại là một kỹ thuật khác và cần đánh giá sai số, chi phí chuyển đổi cùng mức hỗ trợ của phần cứng. Không thể lấy lợi ích lượng tử hóa cộng thẳng vào lợi ích MoE rồi tuyên bố một con số tăng tốc chung.
Giao tiếp giữa GPU. Với *expert parallelism*, các expert nằm trên những thiết bị khác nhau. Token phải được gửi tới GPU chứa expert được chọn rồi kết quả quay về. Nếu đường truyền chậm, thời gian chờ có thể lớn hơn phần tính toán tiết kiệm được.
Mất cân bằng tải. Router có thể ưu tiên một vài expert quá thường xuyên, khiến một số GPU quá bận còn số khác nhàn rỗi. Huấn luyện MoE thường dùng thêm mục tiêu cân bằng tải để hạn chế tình trạng này. Tài liệu Transformers cho Mixtral có các tham số liên quan đến router và auxiliary load-balancing loss.
Giới hạn sức chứa. Một số kiến trúc đặt giới hạn số token mỗi expert nhận trong một batch. Khi quá nhiều token cùng chọn một expert, hệ thống phải xử lý phần vượt quá. Switch Transformers thảo luận vấn đề dung lượng expert, nhưng không nên suy rằng mọi MoE đều xử lý token vượt giới hạn giống nhau.
Ba nút thắt này giải thích vì sao tăng số expert không phải con đường miễn phí. Một thiết kế tốt trên giấy có thể hoạt động kém nếu phân phối thiết bị, bộ định tuyến hoặc phần mềm phục vụ không phù hợp.
Throughput là lượng công việc xử lý trong một khoảng thời gian; latency là độ trễ của một yêu cầu. Mô hình có thể phục vụ nhiều người cùng lúc hơn nhưng chưa chắc trả token đầu tiên nhanh hơn. Cũng cần tách thời gian *prefill* (xử lý prompt đầu vào) và *decode* (sinh token tiếp theo).
Khi so sánh MoE với dense, phải giữ rõ chất lượng đầu ra, phần cứng, số người dùng đồng thời, độ dài ngữ cảnh và phần mềm suy luận. Chỉ so tham số kích hoạt sẽ bỏ qua số GPU cần để chứa trọng số. Chỉ nhìn điểm benchmark sẽ bỏ qua độ trễ và chi phí vận hành.
Tốc độ Switch Transformers và điểm số Mixtral là kết quả trong điều kiện nghiên cứu, không phải cam kết cho mọi thiết bị hay tác vụ tiếng Việt. Phải kiểm tra độc lập trên cùng dữ liệu và tiêu chí.
Giả sử doanh nghiệp muốn chatbot đọc quy trình nội bộ, hỗ trợ nhân viên và soạn văn bản tiếng Việt. Một lựa chọn là mô hình dense vừa sức một GPU; lựa chọn khác là MoE có tổng tham số lớn hơn nhưng chỉ dùng một phần trên mỗi token.
Với ít người dùng và VRAM hạn chế, dense nhỏ hơn thường dễ vận hành. Với cụm GPU kết nối tốt và tải đồng thời lớn, MoE đáng thử. Không thể chọn chỉ bằng số tham số.
Tuy nhiên, kiến trúc không giải quyết mọi vấn đề. Nếu tài liệu nội bộ thay đổi thường xuyên, cơ chế truy xuất đúng phiên bản và kiểm chứng câu trả lời có thể quan trọng hơn số tham số. MoE không tự kiểm soát quyền truy cập, không bảo đảm trả lời có nguồn và không loại bỏ hiện tượng bịa thông tin.
Hãy tạo bộ câu hỏi gồm câu ngắn, văn bản dài, câu hỏi nghiệp vụ, yêu cầu tính toán và trường hợp không đủ dữ liệu để trả lời. Đánh giá độ đúng, khả năng từ chối khi thiếu căn cứ và tuân thủ yêu cầu, thay vì chỉ nhìn văn phong trôi chảy.
Sau đó đo thời gian tới token đầu tiên, tốc độ sinh, thông lượng khi tăng số người dùng, VRAM cao nhất và chi phí trên mỗi câu trả lời đạt yêu cầu. Ghi rõ phiên bản mô hình, độ chính xác trọng số, thư viện suy luận, số GPU, độ dài prompt và cấu hình batch. Nếu thay nhiều biến cùng lúc, sẽ khó biết cải thiện đến từ MoE hay tối ưu phần mềm khác.
Chi phí tháng còn phụ thuộc giờ cao điểm, câu hỏi dài và thời gian GPU chờ rỗi.
Expert có chuyên biệt theo chủ đề hay ngôn ngữ không? Cần nghiên cứu router thực tế. Thêm expert không bảo đảm tốt hơn vì còn dữ liệu, tải và độ ổn định.
MoE có tốt hơn dense cho mọi ứng dụng? Chưa có cơ sở để khẳng định. Benchmark trên cụm tăng tốc chuyên dụng không thể chuyển thẳng thành cam kết trên một máy đơn lẻ. Doanh nghiệp Việt Nam nên thử trên dữ liệu tiếng Việt và tải thực của mình.
Bài học là: MoE tăng số tham số có thể học nhưng chỉ chạy một phần cho mỗi token. Switch Transformers và Mixtral chứng minh hướng thiết kế này khả thi; song ít tham số kích hoạt không có nghĩa ít trọng số phải lưu.
Khi gặp quảng cáo AI rất lớn, hãy hỏi: tổng tham số, tham số kích hoạt và phần cứng cần thiết là bao nhiêu?