ByteDance Apresenta Astra

A empresa ByteDance introduziu recentemente o Astra, uma arquitetura inovadora de duplo modelo que revoluciona a navegação de robôs em ambientes internos complexos. Com a integração crescente de robôs em vários setores, desde a manufatura industrial até a vida diária, destaca-se a necessidade de sistemas de navegação avançados. No entanto, os sistemas de navegação de robôs contemporâneos enfrentam desafios significativos em ambientes internos diversificados e complexos, expondo as limitações das abordagens tradicionais. Para resolver as questões fundamentais de “Onde estou?”, “Para onde estou indo?” e “Como chego lá?”, a ByteDance desenvolveu o Astra, uma arquitetura inovadora de duplo modelo projetada para superar os gargalos de navegação tradicionais e permitir que robôs móveis tenham um propósito geral.

Os sistemas de navegação tradicionais geralmente consistem em vários módulos menores e frequentemente baseados em regras para lidar com os desafios centrais da localização de alvos, autolocalização e planejamento de rotas. A localização de alvos envolve entender sinais de linguagem natural ou imagens para identificar um destino em um mapa. A autolocalização exige que o robô determine sua posição exata dentro de um mapa, especialmente desafiador em ambientes repetitivos, como armazéns, onde os métodos tradicionais frequentemente dependem de marcos artificiais (por exemplo, códigos QR). O planejamento de rotas divide-se ainda em planejamento global para geração de rotas gerais e planejamento local para evitar obstáculos em tempo real e alcançar pontos intermediários. Embora os modelos fundamentais tenham demonstrado promessa na integração de modelos menores para lidar com tarefas mais amplas, o número ideal de modelos e sua integração eficaz para navegação abrangente permanecia uma questão em aberto.

O Astra da ByteDance, detalhado em seu artigo “Astra: Em Direção a Robôs Móveis de Propósito Geral via Aprendizado Multimodal Hierárquico”, aborda essas limitações. Seguindo o paradigma Sistema 1/Sistema 2, o Astra apresenta dois submodelos principais: Astra-Global e Astra-Local. O Astra-Global lida com tarefas de baixa frequência, como localização de alvos e autolocalização, enquanto o Astra-Local gerencia tarefas de alta frequência, como planejamento de rotas locais e estimativa de odometria. Essa arquitetura promete revolucionar a forma como os robôs navegam em espaços internos complexos. O Astra-Global atua como o núcleo inteligente da arquitetura Astra, responsável por tarefas críticas de baixa frequência: autolocalização e localização de alvos. Ele funciona como um Modelo de Linguagem Grande Multimodal (MLLM), apto a processar tanto entradas visuais quanto linguísticas para alcançar uma posição global precisa dentro de um mapa.

A construção desse sistema de localização robusto começa com o mapeamento offline. A equipe de pesquisa desenvolveu um método offline para construir um grafo híbrido topológico-semântico G=(V,E,L). Na localização prática, as capacidades de autolocalização e localização de alvos do Astra-Global utilizam um processo de dois estágios, de grossa para fina, para localização visual-linguística. O estágio de grossa analisa imagens de entrada e prompts de localização, detecta marcos, estabelece correspondência com um mapa de marcos pré-construído e filtra candidatos com base na consistência visual. O estágio de fina, então, usa a imagem de consulta e a saída de grossa para amostrar nós do mapa de referência do mapa offline, comparando suas informações visuais e posicionais para saída direta da pose prevista. Para a localização de alvos baseada em linguagem, o modelo interpreta instruções de linguagem natural, identifica marcos relevantes usando suas descrições funcionais dentro do mapa e, em seguida, utiliza mecanismos de associação de marcos para nós para localizar nós relevantes, recuperando imagens de alvos e poses 6-DoF.

Para dotar o Astra-Global de capacidades de localização robustas, a equipe empregou uma metodologia de treinamento meticulosa. Usando Qwen2.5-VL como espinha dorsal, combinaram Ajuste Fino Supervisionado (SFT) com Otimização de Política Relativa de Grupo (GRPO). O SFT envolveu conjuntos de dados diversificados para várias tarefas, incluindo localização grossa e fina, detecção de co-visibilidade, estimativa de tendência de movimento. Na fase GRPO, uma função de recompensa baseada em regras (incluindo formato, extração de marcos, correspondência de mapa e recompensas de marcos extras) foi usada para treinar a localização visual-linguística. Experimentos mostraram que o GRPO melhorou significativamente a generalização de zero-tiro do Astra-Global, alcançando 99,9% de precisão de localização em ambientes domésticos não vistos, superando os métodos SFT apenas.

O Astra-Local atua como o assistente inteligente para as tarefas de alta frequência do Astra, uma rede de tarefas múltiplas capaz de gerar eficientemente rotas locais e estimar com precisão a odometria a partir de dados de sensores. Sua arquitetura compreende três componentes principais: um codificador espaciotemporal 4D, uma cabeça de planejamento e uma cabeça de odometria. O codificador espaciotemporal 4D substitui os móveis tradicionais, permitindo uma representação mais rica e flexível do ambiente. A cabeça de planejamento é responsável por gerar rotas locais, enquanto a cabeça de odometria estima a odometria do robô com base nos dados de sensores