Få Google Gemini til at "se med", mens du laver ting og sager på computeren - du kan tale med den og få den til at gøre alt muligt.

Start med at se f.eks. denne YouTube-video om Google Gemini's evne til at hjælpe dig, mens du arbejder på din computer: Gemini 2.0 Can Watch Your Screen & Guide You in Real-Time - YouTube

Det er jo ret imponerende. Jeg fik hele videoen transskriberet med Youtube Transcript Generator - Free and Fast | Kome, kopierede teksten og gav ChatGPT den følgende prompt: 

her er en transkription af en video, der demonstrerer Google Geminis evne til at "se" den skærm man har på sin computer og hjælpe en med ting og sager. Lav en opskrift på, hvordan man gør, og giv mig fem idéer til, hvad jeg kan bruge det til. Her kommer teksten: (og så indsatte jeg den transskriberede tekst fra YouiTube-videoen).

ChatGPT svarede det følgende: 

Trin-for-trin-guide: Sådan får du Gemini til at “se” din skærm

  1. Log ind i Google AI Studio
    Gå til https://aistudio.google.com, log ind med din Google-konto, og vælg det projekt, du vil arbejde i. Funktionen kræver adgang til Gemini 2.0-modellerne (Gemini 2.5 Pro eller nyere). (Gemini 2.0: Level Up Your Apps with Real-Time Multimodal Interactions, Live API | Gemini API | Google AI for Developers)

  2. Aktivér Stream in real time
    I venstremenuen klikker du på “Stream in real time”. Første gang vil AI Studio bede om tilladelse til at bruge mikrofon og skærmdeling i din browser. Giv begge tilladelser. (7 Use Cases of Gemini's Screen Sharing Feature (incl. Setup))

  3. Vælg videokilde: din skærm
    Tryk på kamera-ikonet ( 🎥 ) → Select video source → Screen → Entire screen → Share. Nu modtager Gemini en live videostrøm af, hvad der sker på din skærm.

  4. Start en samtale
    Skriv eller tal: “Hej Gemini, kan du se min skærm?” Når modellen bekræfter, kan du give konkrete instruktioner – fx “Følg med mens jeg scroller, og noter alle animationer” eller “Vis mig hvor jeg henter Git til Windows”.

  5. Arbejd i realtid
    – Stil opfølgende spørgsmål mens du klikker rundt.
    – Brug Markdown-prompten */continue* for at få Gemini til at lytte videre uden at afbryde.
    – Hvis modellen mister forbindelsen, klik Stop stream og Start igen.

  6. Afslut og beskyt dit privatliv
    Når du er færdig, klik Stop sharing i browseren. Video­strømmen gemmes ikke på Googles servere ifølge Live-API-dokumentationen, men undlad altid at vise fortrolige data. (Live API | Gemini API | Google AI for Developers)

Fem idéer til, hvad du kan bruge funktionen til

# Idé Eksempel-prompt
1 Live software-vejledning “Se min Premiere Pro-timeline og vis præcis, hvordan jeg lægger et fade-in på lydsporet.”
2 UX-analyse af websites “Hold øje mens jeg scroller på gucci.com og lav en komplet liste over alle micro-animationer og CTA-placeringer.”
3 Hands-on fejlfinding “Jeg får en compile-fejl i VS Code – følg med og fortæl mig, hvilken linje der forårsager problemet.”
4 Sprog-coach i realtid “Mens jeg læser denne japanske artikel, markerer du ord jeg ikke forstår og giver en kort oversættelse i kanten.”
5 Tilgængeligheds-check “Se min Figma-prototype og peg på elementer der mangler kontrast- eller tastatur-navigation.”

Med Gemini som “co-pilot” på skærmen slipper du for at skifte mellem skærmbilleder, tage screenshots eller forklare komplekse trin – AI-en ser nøjagtigt det samme som dig og kan reagere med det samme.

Kommentarer

Send en kommentar

Populære opslag fra denne blog

Lav verdens bedste prompt i o3 og brug den til Deep Research

Jeg fik pludselig den idé, at hvis man som første step beder enten GPT4o eller o3 om at svare på et spørgsmål, så får man jo som regel et pænt grundigt og brugbart svar. Men hvad nu hvis man bruger dét svar som udgangspunkt for en forespørgsel eller prompt til Deep Research – også kaldet grundig research – for at få lavet en meget mere tilbundsgående undersøgelse af de temne, som man i første omgang spurgte den normale model om? Så hvis jeg skal prøve at opsummere teknikken: 1. Spørg den normale model om et eller andet. 2. Kopier svaret. 3. Aktiver grundig research og indlede med ordene "Jeg har spurgt ChatGPT om <emne> og på baggrund af dens svar skal du lave en grundig undersøgelse, der afdækker alle aspekter i forbindelse med <her angiver du så yderligere detaljer om, hvad du ønsker>. Her kommer det svar, som du skal bruge til at lave undersøgelsen for mig:<og så indsætter du svaret du kopierede i step 2>. 4. Nu vil den komme med et eller flere spørgsmål for a...
Læs mere

Deep Research ("Grundig Research") er nu tilgængelig i ChatGPT (men kun 10 af dem per måned).

 Jeg stod og underviste i går, og opdagede, at der er kommet en ny option i ChatGPT: "Grundig research", som er den "Deep Research"-ting man har talt om i et stykke tid. Man kan anvende den 10 gange om måneden. Hvis man køber den store option af ChatGPT, som koster 200 USD om måneden, kan man fyre den af 120 gange.  Vi testede den på et par ting i går, og den gjorde indtryk. Jeg spurgte den f.eks.: er der opdateringer af Newtons tre love ift quantum og andre fysik-fremskridt? og den svarede: Er du interesseret i en generel gennemgang af, hvordan Newtons love er blevet påvirket af kvantemekanik og moderne fysik, eller søger du specifikke eksempler og eksperimentelle resultater? Vil du gerne have det forklaret på et populærvidenskabeligt niveau eller mere teknisk? og jeg svarede: generel gennemgang, gerne teknisk, tak. Så tænkte den i syv minutter og anvendte 11 kilder (man kan følge dens overvejelser og opslag forskellige steder ude i højre side) og så leverede den e...
Læs mere

Få opsummeret lange videoer på sekunder - og brug det kreativt, f.eks. med TED Talks. Og opdag oven i købet fremtidens undervisningsform :-).

Først og fremmest: Jeg har tidligere nævnt dette absolut magiske (og gratis) link, der kan transskribere en YouTube-video på sekunder:  Youtube Transcript Generator - Free and Fast | Kome Desværre kan den kun gøre det med engelsk-sprogede videoer, men dem er der jo også mange af :-). Jeg ved, at Claus Nygaard bruger en teknik, hvor han transskriberer en video om et interessant emne og bruger hele transskriptionen som en prompt til at få lavet en Deep Research-kørsel - det kan man vist godt kalde en slags superprompt :-). Nå, men det slog mig forleden, at nogle virkeligt gode videoer man kunne transskribere er de såkaldte TED Talks. Der er tusindvis af dem, og de omfatter stort set alle emner. F.eks. er der  her  en nylig video, hvor TED-værten og -grundlæggeren Chris Anderson interviewer Sam Altman fra OpenAI, og et par gange giver ham nogle ret spidse spørgsmål, der går tæt på.  Her er et  andet eksempel  på en YouTube-video med selveste Sal Khan, hvo...
Læs mere