GitHub Copilot thêm Chat và VS Code Agents vào impact dashboard: đo adoption AI sao cho không đánh đồng usage với hiệu quả

GitHub Changelog ngày 06/11/2026 cập nhật Copilot impact dashboard: biểu đồ Agent adoption nay tính thêm Copilot Chat và cửa sổ VS Code Agents, nâng phạm vi quan sát lên chín trải nghiệm. Đồng thời, báo cáo usage metrics 28 ngày ở cấp enterprise và organization có thêm dữ liệu theo hai tính năng này. Đây là dữ liệu adoption/engagement, không phải bằng chứng trực tiếp về chất lượng code hay năng suất.

Dashboard thêm hai bề mặt dùng agent

Copilot Chat và VS Code Agents window được đưa vào biểu đồ Agent adoption. Trước đó, dashboard chưa phản ánh Chat dù đây là bề mặt Copilot được dùng rộng. Enterprise và organization 28-day usage metrics reports cũng có cùng hai phần dữ liệu, qua trường copilot_feature_engagement.totals_by_feature với entry chat và vscode_agent.

Nhờ vậy, người quản trị không còn chỉ nhìn usage ở một số IDE hoặc workflow nhất định rồi kết luận sai rằng đội chưa dùng AI. Tuy nhiên, một người có thể được tính ở nhiều feature, nên không được cộng từng cột để suy ra số user duy nhất.

“Passive users” đổi thành “Chat-first users”

GitHub đổi tên cohort “Passive users” thành “Chat-first users”. Nhóm này vẫn hoạt động với Copilot, nhưng chưa dùng một qualifying feature trong ít nhất hai ngày của chu kỳ 28 ngày, nên không thuộc adoption phase. Giá trị API vẫn là No Cohort và kích thước cohort không thay đổi; đây là thay đổi ngôn ngữ để mô tả chính xác hơn, không phải thay đổi thuật toán phân loại.

Luật engagement và adoption không đổi

User được coi là engaged với một feature khi dùng feature đó ít nhất hai ngày trong giai đoạn 28 ngày.
Chat và VS Code Agents window chỉ là feature engagement; chúng không tính vào adoption phases.
Chat bao gồm Copilot Chat usage mà usage metrics ghi nhận, kể cả agent mode; người để agent chỉnh sửa có thể đồng thời được tính dưới chat.
Dữ liệu chỉ có ở báo cáo 28 ngày cấp enterprise/organization; kỳ báo cáo trước thay đổi chỉ có bảy feature cũ.
Access dành cho enterprise owner, billing manager, organization owner hoặc custom role có quyền View Copilot Metrics; Copilot usage metrics policy phải được bật.

Điều gì thay đổi với đội quản trị

Dashboard đầy đủ hơn giúp phân biệt đội đang thử AI qua Chat với đội đã đưa agent vào workflow sâu hơn. Nhưng adoption phase không tăng chỉ vì Chat hoặc VS Code Agents window xuất hiện trong báo cáo. Vì vậy, KPI rollout không nên dựa duy nhất vào số lượt chat hay số active seat.

Checklist đo lường thực tế

Đặt baseline trước rollout: lead time, rework, defect escape, thời gian review và chi phí license/AI credits.
Phân tách engagement theo Chat, agent, IDE và repository có policy khác nhau.
Gắn dashboard adoption với dữ liệu chất lượng: finding được chấp nhận, PR bị revert, thời gian xử lý alert và kết quả kiểm tra bảo mật.
Rà privacy, retention và quyền xem metrics trước khi mở báo cáo rộng hơn.
Không dùng nhãn “Chat-first” như đánh giá hiệu suất cá nhân; đó là cohort sản phẩm, không phản ánh năng lực kỹ sư.

Giới hạn dữ liệu

GitHub xác nhận cohort sizes và API value No Cohort không đổi. Một feature được dùng hai ngày trong 28 ngày chỉ cho thấy engagement theo định nghĩa sản phẩm. Nó không đo prompt tốt, code đúng, mức review cần thiết hay ROI. Số liệu cũng không bao phủ các period trước thay đổi theo cùng phạm vi chín feature, nên dashboard cần chú thích mốc để tránh so sánh lệch.

Phân tích

Thay đổi này hữu ích vì giảm một “blind spot” trong rollout AI: chat thường là cửa vào agent workflow, nhưng bị gán là passive nếu dashboard không nhìn thấy nó. Dù vậy, đo adoption đúng không đồng nghĩa tối ưu tổ chức bằng usage. Đội engineering nên xem Chat-first là tín hiệu cần hỗ trợ workflow, đào tạo và guardrail, rồi đối chiếu với chất lượng delivery. Chỉ khi usage, chi phí, bảo mật và outcome cùng được đọc mới biết Copilot đang tạo giá trị hay chỉ làm tăng hoạt động có vẻ bận rộn.