Google lansează o nouă capabilitate screen-sharing pentru Gemini Live, utilizatorii care folosesc Gemini în modul de conversație putând include și conținutul ecranului atunci când solicită ajutorul AI-ului. De asemenea, pot deschide accesul la camera foto, permițând Gemini să analizeze împrejurimile pentru a răspunde la solicitări relevante
De asemenea, Gemini poate folosi noua opțiune screen-sharning pentru descrie conținutul ecranului pentru persoanele nevăzătoare, generând descrieri audio mai detaliate ale imaginilor. Această funcționalitate este disponibilă inclusiv pentru imaginile din mesajele text sau întâlnite pe rețelele sociale. De asemenea, nevăzătorii pot folosi camera foto pentru a obține descrieri audio detaliate ale obiectelor și împrejurimilor, generate cu ajutorul inteligenței artificiale.
Însă pentru utilizatorii de rând, opțiunea screen-sharning funcționează ca o modalitate de a da mai mult context conversațiilor purtate cu Gemini Live, permițând chatbot-ului să acționeze ca un ajutor intuitiv, ghidându-te în activitățile mai mult sau mai puțin complicate, pe care încerci să le duci la bun sfârșit în timp ce butonezi telefonul mobil sau tableta.
Demonstrate prima dată la expoziția MWC 2025 și disponibile abonaților Gemini Advanced începând cu finalul acestei luni, noile capabilități Gemini Live intră sub umbrela Project Astra, o inițiativă Google pentru lărgirea capacității de înțelegere a modelelor sale AI prin includerea unor modele mai avansate de analiză în timp real.
Potrivit unui clip demonstrativ încărcat pe Reddit, Gemini poate „ține minte” diferite părți ale conversației purtate cu utilizatorul, incluzând în discuție obiecte văzute anterior pe ecran. Totuși, s-ar părea că observația nu funcționează chiar în timp real, Gemini înghețând temporar imaginea pentru a prelua capturi de ecran pe care le analizează ulterior folosind procesare cloud. Iar de aici rezultă și o posibilă limitare, Gemini Live neputând „înțelege” la fel de bune situații dinamice surprinse pe video. Cu toate acestea, posibilitatea ca Gemini să „vadă” prin camera telefonului aproape în timp real și să-ți răspundă la întrebări nu poate fi decât o evoluție majoră pentru chatbot-ul Google, destui utilizatori urmând să găsească folositoare această capabilitate.
