github.com
OmniParser: a camada visual que faltava para agentes usarem GUIs
agentescomputer-usegui-automationmicrosoft
Uma sacada muito interessante da Microsoft, que pode mudar o jogo, é esse projeto OmniParser, que é capaz de auxiliar qualquer LLM a enxergar o que tem aberto na tela. Isso pode abrir caminhos extremamente valiosos, pois vai trazer a possibilidade de a IA ver pixel a pixel e clicar de maneira certeira onde precisa. A automatização por API ou por GUI ainda existe, mas com isso a régua de possibilidades ficou bem maior!