Az OmniParser V2 értelmezi a képernyőfotók elemeit

A grafikus felhasználói felületek (GUI) automatizálása eddig komoly akadályokba ütközött, mivel az MI-alapú modellek számára nehézséget jelentett a képernyőelemek pontos értelmezése és az interakciók végrehajtása.

Az egyik legnagyobb kihívás az volt, hogy az általános nyelvi modellek (LLM-ek) nem tudták megbízhatóan azonosítani a felhasználói inter