Các luồng hội thoại giúp Claude Code phản hồi nhanh hơn, nhưng mức cải thiện khá khiêm tốn: khoảng 2 đến 4 phút trong một phiên làm việc kéo dài bốn giờ, theo ước tính dựa trên gần 980 lượt trao đổi. Anthropic công bố mức giảm thời gian chờ đến token đầu tiên lên tới 35% đối với các yêu cầu lớn. Tuy nhiên, chi phí không giảm: mô hình vẫn xử lý toàn bộ ngữ cảnh.
Các luồng hội thoại trong Claude Code: tốc độ được cải thiện nhờ đâu?
Trước thay đổi này đối với Messages API, mỗi lệnh gọi mới có thể gửi lại toàn bộ cuộc hội thoại cho mô hình. Trong một phiên lập trình dài, điều đó đồng nghĩa với việc truyền lại lịch sử ở mỗi lượt, ngay cả khi chỉ có thay đổi mới nhất là đáng chú ý.
Với các luồng hội thoại, Claude chỉ nhận những nội dung mới kể từ lần trao đổi trước. Nhờ đó, các yêu cầu lớn tránh được một phần dữ liệu lặp lại, giúp rút ngắn thời gian chờ đến token đầu tiên, tức khoảng thời gian trước khi câu trả lời bắt đầu.
Anthropic cho biết mức giảm trung vị là 35% đối với các yêu cầu có từ 500.000 đến 1 triệu token. Con số này chủ yếu áp dụng cho ngữ cảnh lớn: một câu hỏi riêng lẻ hoặc một phiên ngắn sẽ không nhận được lợi ích tương tự.
Claude Code có thực sự nhanh hơn khi sử dụng thực tế không?
Các nhật ký được phân tích bao gồm khoảng 980 lượt trao đổi diễn ra trước khi tính năng này khả dụng. Với những tác vụ có ngữ cảnh ít nhất 500.000 token, Claude thường bắt đầu phản hồi sau khoảng ba giây.
Trong năm buổi tối có khối lượng công việc cao, mỗi phiên kéo dài bốn giờ có từ 100 đến 225 lệnh gọi mô hình. Áp dụng mức giảm mà Anthropic công bố vào thời gian chờ đã ghi nhận, ước tính cho thấy mỗi phiên tiết kiệm được 2 đến 4 phút. Đây là dự đoán dựa trên các phép đo trước đó, không phải kết quả thử nghiệm so sánh được thực hiện sau khi bật tính năng.
Lợi ích dễ nhận thấy nhất khi tác nhân liên tục gọi mô hình và xử lý ngữ cảnh khổng lồ. Các công cụ phân tích tài liệu hoặc hình ảnh cũng có thể hưởng lợi từ dữ liệu được giữ lại trong luồng thay vì phải gửi lại ở mỗi lượt.
Tiết kiệm thời gian, nhưng không giảm hóa đơn hay giúp Claude thông minh hơn
Các luồng hội thoại không làm giảm lượng token bị tính phí. Mô hình vẫn xử lý toàn bộ cuộc hội thoại ở mỗi lượt, dù API tránh gửi lại dữ liệu đã có. Giới hạn tốc độ cũng không thay đổi.
Bộ nhớ đệm prompt là một tính năng khác: tính năng này có thể giảm chi phí bằng cách tránh xử lý lại một số đầu vào lặp lại. Nó có thể hoạt động cùng các luồng hội thoại, vốn chủ yếu giúp tăng độ phản hồi mà không phát sinh thêm chi phí như đã công bố.
Cuối cùng, cửa sổ ngữ cảnh dài không khiến mô hình đáng tin cậy hơn. Cửa sổ càng mở rộng, Claude càng có thể mất mạch hoặc cần nén ngữ cảnh, tức là rút gọn ngữ cảnh và có nguy cơ làm mất một số chi tiết. Và nếu hai lượt cách nhau hơn năm phút, toàn bộ nội dung sẽ được gửi lại: vì vậy, lợi ích không phải lúc nào cũng có.
Kết luận rất đơn giản: đây là cải tiến hữu ích cho các phiên dài và có khối lượng lớn, chứ không phải một công cụ tăng tốc kỳ diệu. Tiết kiệm được vài phút, không giảm chi phí cũng không cải thiện khả năng suy luận — đó là những gì các con số cho phép khẳng định.
Nguồn: www.zdnet.fr