Bộ Khoa học và Công nghệ đề xuất danh mục 59 hệ thống trí tuệ nhân tạo có rủi ro cao

Theo đề xuất của Bộ KH&CN, sẽ có 2 danh mục bao gồm: Danh mục các hệ thống trí tuệ nhân tạo được xác định là có rủi ro cao với 47 hệ thống; Danh mục các hệ thống trí tuệ nhân tạo có rủi ro cao phải chứng nhận phù hợp trước khi đưa vào sử dụng với 12 hệ thống.

Vì sao cần xác định là có rủi ro cao?

Danh mục các hệ thống trí tuệ nhân tạo được xác định là có rủi ro cao ở 4 lĩnh vực là: Giáo dục, dân tộc và tôn giáo, y tế, ngân hàng, giao thông vận tải. Trong đó:

- Lĩnh vực giáo dục: Tập trung vào các hệ thống AI cung cấp nội dung tự học không được kiểm soát cho quy mô người học lớn; hệ thống AI tự động chấm điểm, xếp hạng người học quy mô lớn hoặc sử dụng AI để nhận diện sinh trắc học, giám sát hành vi, cảm xúc người học.

Bộ KH&CN cho rằng, các hệ thống AI trong lĩnh vực giáo dục có khả năng tác động trực tiếp đến kết quả học tập, cơ hội tiếp cận giáo dục và định hướng phát triển của người học.

Việc sử dụng AI để chấm điểm, phân loại hoặc giám sát hành vi nếu không bảo đảm tính minh bạch, khách quan và khả năng kiểm soát của con người có thể dẫn đến sai lệch trong đánh giá, phân biệt đối xử hoặc xâm phạm quyền riêng tư của học sinh, sinh viên. Do đó, cần đưa các hệ thống này vào danh mục rủi ro cao để áp dụng cơ chế giám sát chặt chẽ hơn.

- Lĩnh vực dân tộc và tôn giáo: Bao gồm các hệ thống AI tự động chấm điểm, phân loại hồ sơ để xác định đối tượng thụ hưởng chính sách dân tộc; hệ thống AI tự động đối chiếu, xác thực thông tin và hệ thống tự động kiểm tra, xác thực thông tin và hệ thống tự động đưa ra quyết định chấp thuận/từ chối hồ sơ quản lý nhà nước trong lĩnh vực này mà không có sự phê duyệt lại của con người.

Theo Bộ KH&CN, đây là nhóm hệ thống có tác động trực tiếp đến quyền con người, quyền tiếp cận chính sách xã hội và các vấn đề nhạy cảm liên quan đến dân tộc, tín ngưỡng, tôn giáo. Việc sử dụng AI để tự động hóa quá trình xác định quyền lợi hoặc xử lý hồ sơ hành chính có thể làm phát sinh nguy cơ thiên lệch dữ liệu, phân biệt đối xử hoặc ảnh hưởng đến quyền và lợi ích hợp pháp của nhóm yếu thế nếu thiếu cơ chế kiểm soát của con người. Vì vậy, cần áp dụng cơ chế quản lý nghiêm ngặt đối với nhóm hệ thống này.

- Lĩnh vực y tế: Các hệ thống AI đưa ra quyết định phác đồ điều trị, can thiệp xâm lấn; hệ thống chẩn đoán, kê đơn thuốc, phẫu thuật, hỗ trợ rô bốt y tế nhưng không đi kèm trách nhiệm của người hành nghề.

Bộ KH&CN đưa ra lý do, y tế là lĩnh vực có mức độ rủi ro đặc biệt cao do các quyết định của hệ thống AI có thể ảnh hưởng trực tiếp đến tính mạng, sức khỏe của con người. Sai sót trong chẩn đoán, chỉ định điều trị hoặc phẫu thuật có thể gây hậu quả nghiêm trọng, thậm chí không thể khắc phục.

Việc đưa các hệ thống này vào danh mục rủi ro cao nhằm bảo đảm yêu cầu về đánh giá sự phù hợp, kiểm thử an toàn, khả năng giải trình và duy trì sự giám sát thực chất của con người trong toàn bộ quá trình vận hành; bảo vệ tuyệt đối tính mạng, sức khỏe người bệnh trước các sai số của máy học.

Ảnh minh họa: thanhnien.vn

- Lĩnh vực ngân hàng: Bao gồm hệ thống AI tự động thực hiện giao dịch tài chính giá trị cao, hệ thống AI quyết định cấp tín dụng độc lập và hệ thống AI tự động phong tỏa, ngăn chặn tài khoản mà không có sự kiểm duyệt của con người.

Theo cơ quan soạn thảo, các hệ thống AI trong lĩnh vực ngân hàng có khả năng tác động trực tiếp đến tài sản, giao dịch và quyền tài chính của tổ chức, cá nhân. Sai sót trong quyết định cấp tín dụng, phong tỏa giao dịch hoặc nhận diện gian lận có thể gây thiệt hại kinh tế lớn, ảnh hưởng đến quyền sở hữu tài sản và niềm tin của thị trường tài chính.

Việc xếp nhóm này vào danh mục rủi ro cao là cần thiết để bảo đảm trách nhiệm giải trình, tính minh bạch và khả năng kiểm soát đối với các quyết định do AI hỗ trợ hoặc đưa ra.

- Lĩnh vực giao thông vận tải và hạ tầng kỹ thuật trọng yếu là lĩnh vực có số lượng hệ thống rủi ro cao nhiều nhất, tập trung vào: Các hệ thống điều khiển phương tiện tự hành cấp độ cao; hệ thống điều độ trung tâm tín hiệu đường bộ, đường sắt; hệ thống giám sát và vận hành hạ tầng kỹ thuật trọng yếu (hầm, cầu, cấp thoát nước, lưới điện); hệ thống AI tự động chấm điểm hồ sơ dịch vụ công ngành xây dựng; các hệ thống giám sát an ninh, nhận diện sinh trắc học tại đầu mối giao thông; hệ thống AI quản lý không lưu tự động, dự báo xung đột quỹ đạo, điều phối slot, lái tự động, phân tích hành lý soi chiếu, nhận diện hành khách và hệ thống chống thiết bị bay không người lái (UAV) xâm phạm.

Bộ KH&CN cho biết, đây là nhóm hệ thống AI có mức độ tác động đặc biệt lớn đến an toàn công cộng, an ninh quốc gia và vận hành hạ tầng trọng yếu. Các quyết định tự động trong điều hành giao thông, điều phối bay hoặc kiểm soát hạ tầng nếu xảy ra lỗi có thể gây hậu quả nghiêm trọng như tai nạn hàng loạt, gián đoạn hoạt động kinh tế - xã hội hoặc đe dọa an ninh quốc gia. Do đó, cần đưa các hệ thống này vào danh mục rủi ro cao.

Các hệ thống AI có mức độ rủi ro đặc biệt nghiêm trọng

Bộ KH&CN cho biết, danh mục các hệ thống trí tuệ nhân tạo có rủi ro cao phải chứng nhận sự phù hợp trước khi đưa vào sử dụng bao gồm các hệ thống AI rủi ro cao nhưng có mức độ rủi ro đặc biệt nghiêm trọng, hoạt động hoàn toàn tự động, trực tiếp đưa ra các quyết định có tính chất pháp lý hoặc tác động vật lý làm thay đổi, chấm dứt quyền, lợi ích hợp pháp của tổ chức, cá nhân, sức khỏe, tính mạng con người mà không có sự kiểm tra, phê duyệt hoặc can thiệp độc lập từ con người trước khi thực thi. Vì vậy, cần phải kiểm tra, cấp chứng nhận bởi cơ quan chức năng hoặc bên thứ ba độc lập trước khi được phép đưa ra thị trường hoặc đưa vào sử dụng.

Đây là quy định quản lý cao nhất, áp dụng riêng cho các hệ thống trí tuệ nhân tạo có nguy cơ gây hậu quả nghiêm trọng, trực tiếp, không thể đảo ngược đối với quyền con người hoặc an ninh quốc gia và hoạt động hoàn toàn tự động, thay thế quyết định của con người có thẩm quyền. Nhóm này bao gồm:

- Lĩnh vực dân tộc và tôn giáo: Bao gồm các hệ thống AI tự động ra quyết định cuối cùng về phê duyệt hồ sơ; tự động dừng chi trả, thu hồi quyền hưởng hỗ trợ; tự động phân bổ nguồn lực công; suy đoán thuộc tính nhạy cảm (dân tộc, tôn giáo) làm căn cứ áp dụng biện pháp quản lý; các hệ thống AI tự động đề xuất đánh giá cán bộ, thay đổi mô hình tổ chức, biên chế hoặc quyết định chế độ lương, hưu trí mà không qua kiểm chứng.

- Lĩnh vực y tế: Các hệ thống AI đưa ra khuyến nghị điều trị, can thiệp xâm lấn mà người hành nghề khó có điều kiện kiểm chứng lại bằng kiến thức thông thường; máy móc, rô bốt thực thi điều trị trực tiếp lên cơ thể người bệnh không cần lệnh xác nhận từ nhân viên y tế cho mỗi bước thay đổi.

- Lĩnh vực thực thi pháp luật và tư pháp: Bao gồm hệ thống AI nhận dạng sinh trắc học trên diện rộng phục vụ giám sát, thực thi pháp luật; hệ thống AI tự động phân tích chứng cứ số để đưa ra kết luận về hành vi phạm tội mà không có sự thẩm định trực tiếp của con người.