Gemini Guided Vision biến camera Android thành trợ lý thị giác

Guided Vision trong Gemini Live đã được Google phát hành trên các thiết bị Android tương thích, biến camera điện thoại thành một trợ lý thị giác hội thoại theo thời gian thực. Người dùng có thể nghe mô tả môi trường, đặt câu hỏi tiếp và nhận hướng dẫn bằng giọng nói để đưa camera về đúng vị trí.

Tính năng được xây dựng cùng cộng đồng người mù và thị lực kém. Google cho biết đã hợp tác với Aira để diễn giải dữ liệu thị giác trong tổng cộng hàng chục nghìn giờ; hơn 1.000 thành viên mạng lưới Trusted Tester của Aira đã thử và góp ý trong các tình huống đời thường.

Guided Vision làm được gì?

Khi bật Guided Vision và chia sẻ camera trong Gemini Live, người dùng có thể yêu cầu AI:

• đọc chữ nhỏ trên nhãn thực phẩm, bảng điều khiển thiết bị hoặc menu trong điều kiện thiếu sáng;
• tìm và định vị vật dụng, chẳng hạn một chiếc tai nghe rơi trên sàn hoặc lọ tiêu trong tủ;
• mô tả màu sắc, hoa văn và hình dạng để so sánh quần áo;
• mô tả bố cục phòng hoặc các đồ vật trên bàn;
• trò chuyện bằng nhiều ngôn ngữ trong lúc tiếp tục quan sát môi trường.

Khác biệt thực dụng nằm ở bước “reframe”. Nếu camera quá cao, quá gần hoặc lệch sang bên, Gemini có thể yêu cầu người dùng nghiêng máy xuống, lia chậm sang phải hoặc lùi lại. Vòng phản hồi này giúp AI có khung hình tốt hơn trước khi đưa ra câu trả lời.

Cách bật Guided Vision trên Android

Theo trang hỗ trợ của Google, quy trình cơ bản gồm bốn bước:

1. Mở ứng dụng Gemini trên điện thoại Android.
2. Chạm ảnh đại diện hoặc chữ cái tên tài khoản, vào Settings.
3. Bật Use Guided Vision in Live.
4. Mở Gemini Live và chia sẻ camera để bắt đầu phiên hỗ trợ.

Google cũng cung cấp ba cách truy cập nhanh: nút trợ năng nổi, cử chỉ vuốt hai ngón tay từ cạnh dưới màn hình hoặc nhấn giữ đồng thời hai phím âm lượng. Người dùng TalkBack có thể chạm ba ngón tay để mở menu rồi chọn Guided Vision.

Tính năng hỗ trợ thiết bị chạy Android 9 trở lên tại những khu vực và ngôn ngữ có Gemini Live. Tuy nhiên, Google lưu ý quá trình phát hành diễn ra dần, nên một số tài khoản chưa thấy tùy chọn ngay cả khi thiết bị đáp ứng yêu cầu.

Ranh giới an toàn phải nói rõ

Google cảnh báo Guided Vision có thể mắc lỗi. Đây không phải thiết bị y tế, công cụ hỗ trợ di chuyển hay vật thay thế gậy trắng. Tính năng cũng không được thiết kế để dẫn đường, hướng dẫn di chuyển an toàn hoặc phát hiện chướng ngại vật.

Điều đó có nghĩa Guided Vision phù hợp nhất với các tác vụ “xác minh thị giác” có thể dừng lại và kiểm tra lại: đọc nhãn, tìm vật, so màu, hiểu bố cục gần. Không nên dùng câu trả lời của AI để quyết định băng qua đường, tránh vật cản hoặc xử lý tình huống có rủi ro tức thời.

Nhận định của Học viện AI

Guided Vision cho thấy AI đa phương thức bắt đầu có giá trị khi nó không chỉ nhận diện ảnh, mà còn duy trì hội thoại và chủ động yêu cầu người dùng cải thiện đầu vào. “Hãy lia sang phải” đôi khi quan trọng hơn một câu trả lời dài, bởi chất lượng quan sát quyết định trực tiếp chất lượng hỗ trợ.

Một điểm đáng chú ý khác là cách Google đưa cộng đồng mục tiêu vào quy trình phát triển và đánh giá guardrail. Dữ liệu thử nghiệm hàng chục nghìn giờ và hơn 1.000 tester không chứng minh hệ thống luôn đúng, nhưng cho thấy tiêu chuẩn phát hành cho công cụ trợ năng phải vượt qua một bản demo camera thông thường.

Ba cách kiểm trước khi tin câu trả lời

1. Đưa vật vào khung hình rõ: làm theo chỉ dẫn reframe, tránh ngược sáng và rung.
2. Hỏi lại chi tiết: yêu cầu Gemini đọc nguyên văn, mô tả vị trí tương đối hoặc nêu phần còn không chắc.
3. Dùng kênh xác minh khác: với nhãn thuốc, thông tin sức khỏe, tiền bạc hay an toàn, hãy kiểm bằng người hỗ trợ hoặc công cụ chuyên dụng.

Guided Vision mở rộng lớp giao diện hội thoại mà Google đang xây cho Gemini Live. Để hiểu nền tảng giọng nói phía sau, có thể đọc thêm bài Gemini 3.8 Live hỗ trợ Voice Agent chạy tác vụ nền.