Trong các lĩnh vực giám sát có độ rủi ro cao, việc tự động hóa hoàn toàn có thể dẫn đến những hiểm họa không lường trước. Nguyên nhân là bởi các hệ thống Trí tuệ nhân tạo (AI) thường gặp lỗi vào đúng những thời điểm quan trọng nhất, đặc biệt là trong các trường hợp biên (edge cases) hiếm gặp, các tình huống mơ hồ hoặc những bối cảnh mới lạ mà dữ liệu huấn luyện chưa từng ghi nhận.
Bài viết này từ TOT sẽ giúp bạn khám phá cách Human-in-the-Loop AI (HITL) lấp đầy khoảng trống rủi ro đó. Bạn sẽ hiểu rõ Human-in-the-Loop là gì và tại sao nó khác biệt hoàn toàn so với quy trình đảm bảo chất lượng (QA) truyền thống. Ngoài ra, chúng ta sẽ cùng tìm hiểu các mô hình triển khai giúp hệ thống HITL có khả năng mở rộng mạnh mẽ, kèm theo ví dụ thực tế từ Roboflow Workflows về cách xây dựng một hệ thống HITL chuyên biệt cho thị giác máy tính (computer vision).
>>> Tìm hiểu thêm:
- Edge AI là gì? Cách hoạt động và trường hợp sử dụng thực tế
- Inference In Computer Vision: Suy luận trong thị giác máy tính là gì?
- Vision AI Agents là gì? Cách xây dựng Vision AI Agents với Roboflow
Human-in-the-Loop AI là gì?
Human-in-the-Loop (HITL) không đơn thuần là kiểm thử hay đảm bảo chất lượng (QA), mà là một mô hình thiết kế trong đó con người và AI cùng phối hợp tại những điểm ra quyết định quan trọng. Thay vì chờ hệ thống mắc lỗi rồi mới can thiệp, HITL chủ động chuyển các dự đoán có độ chắc chắn thấp đến chuyên gia xử lý theo thời gian thực (real-time). Nhờ đó, tạo ra một cơ chế cộng tác hiệu quả, nơi mỗi bên phát huy tối đa thế mạnh của mình.
HITL khác QA truyền thống như thế nào?
- QA truyền thống: Con người kiểm tra kết quả sau khi hoàn thành (xác thực thụ động – passive validation)
- HITL: Con người can thiệp khi AI gặp sự không chắc chắn (hợp tác chủ động – active collaboration)
- Điểm khác biệt chính: Các hệ thống HITL tự phát hiện sự không chắc chắn của chính chúng và chuyển cấp một cách tương ứng
Vì sao HITL trở nên cần thiết?
HITL trở nên thiết yếu khi mức độ rủi ro của việc triển khai vượt quá độ tin cậy của mô hình. Trong phát hiện tai nạn giao thông, việc bỏ sót một tình huống khẩn cấp là không thể chấp nhận được, vì vậy những người vận hành sẽ xem xét các sự cố được gắn cờ trước khi điều động.
Các hệ thống giám sát hạ tầng sẽ chuyển các phát hiện hư hỏng không chắc chắn đến kỹ sư thay vì tự động kích hoạt sửa chữa. Lúc này, hệ thống giám sát an ninh chuyển các hành vi bất thường đến nhân viên bảo vệ thay vì tự động báo động.
Mô hình HITL xuất hiện vì ba lý do: các mô hình không hoàn hảo, các quy định pháp lý vẫn yêu cầu trách nhiệm của con người và chi phí của một sai lầm nghiêm trọng thường cao hơn chi phí để một người kiểm tra lại quyết định đó. Việc bổ sung đánh giá của con người tại các thời điểm quan trọng giúp biến AI chưa hoàn hảo thành hệ thống có thể triển khai và đáng tin cậy.
>> Xem thêm:
- Cách doanh nghiệp xây dựng AI agents
- AI hỗ trợ lập trình ảnh hưởng đến kỹ năng code như thế nào?
Các mô hình HITL có thể mở rộng trong môi trường thực tế
Thách thức của mô hình Human in the Loop không nằm ở ý tưởng mà nằm ở việc triển khai. Các hệ thống thực tế cần những mô hình tích hợp đánh giá của con người một cách hiệu quả, đảm bảo chất lượng mà không tạo ra nút thắt cổ chai trong việc xem xét làm chậm quá trình triển khai.
Dưới đây là các mô hình mà các đội ngũ thành công sử dụng để vận hành HITL hiệu quả trong sản xuất:
Gán nhãn ưu tiên AI với hiệu chỉnh từ con người
AI tạo ra các chú thích ban đầu, giúp giảm công sức của con người xuống việc kiểm tra và sửa lỗi thay vì làm từ đầu. Các công cụ gán nhãn tự động (auto-labeling) hiện đại như SAM 3 có thể tạo chú thích trong vài giây; sau đó con người tinh chỉnh các trường hợp biên, sửa phân loại sai hoặc bổ sung các chi tiết mà mô hình bỏ sót. Cách này giúp giảm 70–80% thời gian gán nhãn mà vẫn giữ chất lượng.
Ví dụ, trong bài toán đếm viên thuốc, SAM 3 có thể tự động phát hiện hầu hết các viên thuốc nhưng bỏ sót một vài viên do bị chồng lấp. Người kiểm tra chỉ cần thêm những viên bị thiếu trong vài giây thay vì gán nhãn toàn bộ từ đầu.
>> Tham khảo thêm:
- AI Data Labeling: Hướng dẫn gán nhãn dữ Liệu AI
- Data Annotation Platforms: Nền tảng gán nhãn dữ liệu cho thị giác máy tính tốt nhất
Điều hướng con người dựa trên độ tin cậy
Mô hình HITL mạnh nhất không chỉ dùng con người để sửa dự đoán, mà còn dùng các sửa lỗi đó để cải thiện mô hình. Học chủ động (active learning) tạo ra vòng phản hồi giúp đánh giá của con người trực tiếp xử lý các điểm yếu của mô hình.
Dưới đây là cách mô hình HITL điều phối theo độ tin cậy:
1. Điều phối dựa trên độ tin cậy trong quá trình triển khai
- Mô hình gắn cờ các dự đoán dưới một ngưỡng (ví dụ: <70%) để con người kiểm tra
- Luồng công việc Roboflow (Roboflow Workflows) cho phép điều này với khối Bộ lọc phát hiện (Detections Filter), giúp điều hướng các dự đoán có độ tin cậy thấp đến bước tiếp theo theo cách lập trình.
- Các dự đoán có độ tin cậy cao sẽ tự động chảy qua quy trình sản xuất.
- Các trường hợp không chắc chắn sẽ được điều hướng đến các chuyên gia con người.
2. Hiệu chỉnh từ con người và thu thập dữ liệu
- Người kiểm tra sửa các hình ảnh đã gắn cờ
- Các chú thích đã sửa được lưu ngược lại vào bộ dữ liệu huấn luyện
- Thời gian của con người chỉ dành cho các dự đoán thực sự mơ hồ, không phải xem xét mọi thứ.
Các nền tảng như Roboflow hợp lý hóa việc này với khối Tải lên bộ dữ liệu Roboflow (Dataset Upload) trong Workflows, khối này tự động chụp lại các dự đoán bị gắn cờ và lưu trữ chúng trong bộ dữ liệu để con người sửa chữa và huấn luyện lại.
3. Cải thiện mô hình có mục tiêu
- Mô hình được huấn luyện lại trên các trường hợp mà nó đã gặp khó khăn.
- Hiệu suất được cải thiện trên các điểm yếu cụ thể (ví dụ: các vật thể bị đổ bóng, vật cản – occlusions).
Điều này tạo ra một chu kỳ mà trong đó việc triển khai giúp lộ ra các điểm yếu, và sự hiệu chỉnh của con người sẽ loại bỏ chúng.
>> Xem thêm:
- Deep Learning là gì? Tổng quan về cách hoạt động và ứng dụng thực tế
- Object Detection là gì? Cách hoạt động & Ứng dụng trong thực tế
Theo dõi quyết định và kiểm soát phiên bản
Các hệ thống AI rủi ro cao yêu cầu khả năng truy xuất nguồn gốc, bạn cần biết chú thích nào do AI tạo ra so với chú thích do con người tạo ra, ai đã sửa đổi chúng và thời điểm các thay đổi diễn ra. Roboflow cung cấp một số tính năng theo dõi:
- Lịch sử chú thích (Annotation History): theo dõi mọi thay đổi và cho phép quay lại phiên bản trước
- Thông tin chú thích (Annotation Insights): ghi lại ai đã sửa đổi chú thích, tỷ lệ từ chối, thời gian dành ra và mức độ sử dụng hỗ trợ từ mô hình
- Phân phiên bản bộ dữ liệu (Dataset versioning): tạo ra các ảnh chụp nhanh bất biến giống như Git, chứng minh chính xác dữ liệu nào đã huấn luyện cho mỗi mô hình
Đối với các lĩnh vực có quy định chặt chẽ, sự tuân thủ SOC2 Type 2 của Roboflow và các dấu vết kiểm tra này chứng minh sự tuân thủ quy định cho các tiêu chuẩn FDA, ISO và các tiêu chuẩn ngành khác.
>> Tham khảo thêm: AI agent là gì? Cách Agentic AI hoạt động trong hệ thống trí tuệ nhân tạo
HITL trong thực tế: Ví dụ Roboflow Workflows
Hiểu về các mô hình HITL là một chuyện, nhưng nhìn thấy cách chúng phối hợp trong thực tế sẽ dễ hình dung hơn nhiều. Ở phần này, chúng ta xây dựng một luồng học chủ động hoàn chỉnh cho bài toán giám sát giao thông bằng cách phát hiện phương tiện từ ảnh chụp trên không.
Cụ thể:
- Công cụ SAM 3 tự động dán nhãn giúp tiết kiệm đáng kể thời gian so với làm thủ công.
- Bộ lọc theo độ tin cậy sẽ tự động phát hiện những dự đoán chưa chắc chắn và chuyển chúng cho con người kiểm tra.
- Các chỉnh sửa từ con người sẽ được đưa ngược lại vào dữ liệu huấn luyện, giúp mô hình cải thiện dần theo thời gian.
Bộ dữ liệu gồm 6 nhóm đối tượng: xe đạp, xe buýt, ô tô, xe máy, người và xe tải. Dù dữ liệu phản ánh các tình huống giao thông bình thường, ví dụ này tập trung vào bài toán phát hiện tai nạn giao thông — một trường hợp rủi ro cao.
Trong bối cảnh này, những dự đoán có độ tin cậy thấp có thể là dấu hiệu của tình huống bất thường, như xe ở vị trí lạ hoặc có người xuất hiện trên đường cao tốc, nên cần được kiểm tra ngay. Vì vậy, hệ thống sẽ đặt ngưỡng tin cậy chặt chẽ để không bỏ sót các trường hợp đáng nghi, đồng thời việc con người tham gia đánh giá sẽ giúp mô hình học cách nhận diện các dấu hiệu tai nạn chính xác hơn theo thời gian.
Tổng quan về quy trình làm việc
Luồng xử lý hoạt động như sau: hình ảnh đầu vào sẽ được đưa qua một mô hình phát hiện đối tượng để nhận diện các vật thể. Sau đó, hệ thống dùng Detections Filter để lọc ra những dự đoán có độ tin cậy thấp (dưới 50%).
Những trường hợp này thường là các tình huống khó như: xe bị che một phần, hình ảnh bị mờ do chuyển động, hoặc vị trí bất thường. Tất cả sẽ được tự động đưa vào bộ dữ liệu để con người kiểm tra và chỉnh sửa lại. Đồng thời, phần Label Visualization sẽ hiển thị các dự đoán bị gắn cờ để dễ theo dõi.
Toàn bộ quy trình có thể hiểu đơn giản như sau: mô hình xác định sự không chắc chắn, sau đó con người sửa chữa những trường hợp đó và các hiệu chỉnh sẽ cải thiện phiên bản mô hình tiếp theo.
>> Tham khảo thêm:
- Phân tích hình ảnh bằng AI là gì? Cách AI hiểu và diễn giải hình ảnh
- Object Detection Models: Các mô hình phát hiện đối tượng tốt nhất
Xây dựng mô hình ban đầu
Bước đầu tiên là tạo một mô hình cơ sở có thể phát hiện phương tiện và con người trong các cảnh quay từ trên không, ngay cả khi nó chưa hoàn hảo.
Bước 1: Sao chép (Fork) bộ dữ liệu
Bắt đầu bằng cách sao chép bộ dữ liệu phát hiện phương tiện từ trên không từ Roboflow Universe vào không gian làm việc của bạn.
Bước 2: Tự động dán nhãn với SAM 3
Sử dụng SAM 3 để tự động tạo các chú thích ban đầu trên một nhóm hình ảnh, giảm thời gian dán nhãn thủ công từ hàng giờ xuống còn vài phút.
Bước 3: Xem xét và sửa lỗi nhãn
Đây là bước mà con người bắt đầu tham gia trực tiếp vào hệ thống (Human-in-the-Loop). Dù SAM 3 đã tạo ra các nhãn ban đầu khá tốt, nhưng vẫn có thể bỏ sót những trường hợp quan trọng, đặc biệt là các tình huống khó liên quan đến phát hiện tai nạn.
Bạn cần xem lại từng hình ảnh để:
- Sửa những đối tượng bị gán nhãn sai
- Thêm các đối tượng mà mô hình chưa phát hiện
- Xóa các trường hợp nhận diện nhầm (false positives)
Với ảnh chụp từ trên cao, mô hình thường dễ bỏ sót các vật thể nhỏ hoặc ở xa. Đây lại chính là những chi tiết quan trọng, vì nếu bỏ qua có thể dẫn đến việc không phát hiện người gặp nguy hiểm hoặc phương tiện đang ở vị trí bất thường.
Bước 4: Tạo một phiên bản bộ dữ liệu
Tạo một phiên bản bộ dữ liệu từ các chú thích đã được sửa chữa.
Bước 5: Huấn luyện mô hình
Huấn luyện một mô hình phát hiện vật thể trên bộ dữ liệu đã được chú thích bằng RF-DETR Small. Mô hình ban đầu thiết lập một mức cơ sở để đo lường sự cải thiện sau vòng lặp học tập chủ động.
>> Tìm hiểu thêm:
- Model Context Protocol là gì? Cách kết nối AI với thế giới
- Transfer Learning là gì? Cách hoạt động và ví dụ thực tế về học chuyển giao
Triển khai mô hình trên luồng công việc HITL
Với mô hình ban đầu đã được huấn luyện, bước tiếp theo là xây dựng cơ sở hạ tầng học tập chủ động để tự động xác định và thu thập các trường hợp biên cho con người xem xét.
Bước 1: Cấu hình khối Mô hình phát hiện vật thể
Thêm mô hình đã huấn luyện của bạn vào luồng công việc. Khối này thực hiện suy luận trên các hình ảnh đầu vào và đưa ra các dự đoán với điểm tin cậy.
Bước 2: Thêm khối Bộ lọc phát hiện
Kết nối khối này với đầu ra của Mô hình phát hiện vật thể. Cấu hình nó để chỉ giữ lại các dự đoán có độ tin cậy ≤ 0.5 (50%). Ngưỡng này đảm bảo rằng các phát hiện không chắc chắn, chẳng hạn như phương tiện bị che khuất một phần, vật thể ở xa và ánh sáng đầy thách thức, sẽ bị gắn cờ để con người xem xét.
Bước 3: Thiết lập Tải lên bộ dữ liệu Roboflow
Kết nối khối này để nhận các dự đoán có độ tin cậy thấp đã được lọc. Cấu hình nó để tải các hình ảnh bị gắn cờ và dự đoán của chúng lên bộ dữ liệu của bạn. Đây sẽ là các trường hợp biên mà con người sẽ xem xét và sửa chữa.
Bước 4: Thêm Trực quan hóa nhãn
Kết nối khối này với đầu ra của Bộ lọc phát hiện để trực quan hóa những dự đoán nào đã bị gắn cờ là có độ tin cậy thấp. Điều này cho phép bạn giám sát những gì luồng công việc đang thu thập.
Bước 5: Cấu hình đầu ra
Thiết lập các đầu ra của luồng công việc để hiển thị cả các phát hiện đã được lọc và hình ảnh đã được trực quan hóa để giám sát.
>> Tham khảo:
- Những trình soạn thảo mã cho thị giác máy tính tốt nhất
- Tìm hiểu về các phiên bản và quá trình phát triển của mô hình YOLO
Thu thập và học từ các trường hợp biên
Khi luồng công việc đã được triển khai, hãy chạy xử lý hàng loạt (batch processing) để thu thập các dự đoán có độ tin cậy thấp đại diện cho các điểm yếu của mô hình.
Bước 1: Chạy xử lý hàng loạt
Xử lý một nhóm hình ảnh thông qua luồng công việc. Bộ lọc phát hiện sẽ tự động điều hướng các dự đoán dưới 50% độ tin cậy đến khối Tải lên bộ dữ liệu, xây dựng một bộ sưu tập các trường hợp biên mà không cần phân loại thủ công.
Sau khi xử lý hoàn tất, bạn sẽ nhận được một nhóm hình ảnh mới trong cột chưa được gán của tab chú thích.
Bước 2: Xem xét các trường hợp biên đã thu thập
Mở bộ dữ liệu nơi các dự đoán bị gắn cờ đã được tải lên. Những hình ảnh này đại diện chính xác cho những gì mô hình đang gặp khó khăn: vật thể ở xa, vật cản, mờ do chuyển động và các vị trí bất thường. Xem xét từng hình ảnh bị gắn cờ, sửa các vật thể bị dán nhãn sai, thêm các phát hiện bị bỏ lỡ và xác minh các chú thích là chính xác.
Bước 3: Tạo một phiên bản bộ dữ liệu mới và huấn luyện lại
Sau khi xem xét và sửa chữa các trường hợp biên, hãy tạo một phiên bản bộ dữ liệu mới kết hợp dữ liệu huấn luyện ban đầu với các trường hợp biên đã được sửa chữa.
Huấn luyện một mô hình RF-DETR Small mới trên bộ dữ liệu mở rộng này. Bạn sẽ nhận được các chỉ số được cải thiện, như sau:
Kết quả cho thấy tác động của việc thu thập dữ liệu có mục tiêu: mô hình đã cải thiện cụ thể trên các loại dự đoán mà trước đó nó từng gặp khó khăn, chứng minh cách HITL giải quyết các điểm yếu của mô hình một cách hệ thống.
>> Xem thêm:
- AI Agents cho Startup: Lợi ích và trường hợp sử dụng phổ biến
- Khả năng thị giác của Chat GPT-5 và Cách Prompt hiệu quả
Kết luận về Human-In-The-Loop AI
AI có con người trong vòng lặp (Human-in-the-Loop AI) không phải là sự thỏa hiệp giữa tự động hóa và làm thủ công; nó là kiến trúc giúp triển khai các hệ thống thị giác máy tính trong môi trường rủi ro cao.
Các mô hình được trình bày ở đây (điều hướng dựa trên độ tin cậy, luồng công việc hiệu chỉnh do nền tảng hỗ trợ, các vòng lặp học tập chủ động và dấu vết kiểm tra) hình thành nền tảng cho các hệ thống sản xuất nơi các lỗi lầm có thể để lại hậu quả.
Roboflow Workflows cung cấp cơ sở hạ tầng để triển khai các mô hình này mà không cần xây dựng mọi thứ từ đầu: mô hình phát hiện không chắc chắn, thu thập dữ liệu tự động, giao diện cho con người kiểm tra, và cải thiện liên tục thông qua huấn luyện lại.
Khi triển khai AI trong các lĩnh vực mà sai lầm là vấn đề nghiêm trọng, HITL biến các mô hình chưa hoàn hảo thành hệ thống đáng tin cậy ngay từ thiết kế.
>> Có thể bạn quan tâm:
- So sánh giữa mô hình ngôn ngữ thị giác và phát hiện đối tượng
- Các workflow phổ biến cho AI Agents: Đặc điểm & Cách ứng dụng
- Claude 4.5 Sonnet: Bước đột phá trong AI phòng thủ an ninh mạng
>>> Nguồn tham khảo: Human-In-The-Loop for High-Stakes AI
TOT là đơn vị tiên phong trong hành trình chuyển đổi số. Chúng tôi mang đến giải pháp thiết kế website, mobile app và viết phần mềm theo yêu cầu với dịch vụ linh hoạt, tối ưu theo đúng nhu cầu của doanh nghiệp.
Lấy cảm hứng từ triết lý “Công nghệ vì con người”, TOT giúp doanh nghiệp vận hành hiệu quả hơn, nâng tầm trải nghiệm khách hàng và tạo dấu ấn bền vững cho thương hiệu.
Thông tin liên hệ TopOnTech (TOT):
📞 Hotline/WhatsApp/Zalo: 0906 712 137
✉️ Email: long.bui@toponseek.com🏢 Địa chỉ:31 Đường Hoàng Diệu, Phường Xóm Chiếu, TP. Hồ Chí Minh, Việt Nam
