Benchmarks

O LuxAI oferece plataformas de teste robustas para avaliar o desempenho de modelos de IA em dispositivos móveis, com destaque para os resultados detalhados de nossos benchmarks. Nossos benchmarks testam modelos de IA em dispositivos móveis, medindo consistentemente tempo de inferência e consumo de recursos. Avaliamos a velocidade de inferência para modelos essenciais de aprendizado profundo para aplicativos de visão computacional, abrangendo detecção e classificação de objetos, segmentação semântica, análise e aprimoramento de imagens/vídeos, estimativa de profundidade e pose. Validamos a capacidade dos dispositivos de executar tanto modelos de visão computacional quanto os modernos modelos de LLMs, em diferentes configurações de resolução e precisão dos modelos.

As plataformas desenvolvidas pelo LuxAI também verifica a viabilidade de rodar modelos grandes, como Gemma 2 (~2 bilhões de parâmetros), testando as capacidades e limitações do hardware para diferentes implementações de modelos. Isso inclui checar a taxa de interpretação e inferência de tokens, uso de memória e consumo de energia, tanto para modelos grandes quanto pequenos. As avaliações são constantemente atualizadas com base nos principais modelos de última geração, garantindo uma medição precisa e confiável do desempenho dos dispositivos. Explore os resultados de nossos benchmarks e descubra como eles podem orientar suas decisões tecnológicas e otimizar o uso de IA em sua infraestrutura.


Imagem gerada através do DALL-E

Speed.AI - Vision

Benchmark de Visão Computacional

Compare o desempenho de modelos de Visão Computacional em seu celular! Este aplicativo para Android permite executar localmente modelos de Visão Computacional (que executam tarefas de Segmentação, Classificação, Detecção, Super Resolução, Transferência de Estilo, entre outros). Após a execução, é possível comparar o desempenho dos modelos e verificar o desempenho do seu celular em meio a outros aparelhos do mercado, através do nosso ranking. Código-fonte e releases disponíveis no Github.


Imagem gerada através do DALL-E

Benchmark de Grandes Modelos de Linguagem (LLM)

Compare o desempenho de Grandes Modelos de Linguagem (LLMs) em seu celular! Este aplicativo para Android permite executar localmente os LLMs (modelos especializados em geração de texto). Após a execução, é possível comparar o desempenho dos modelos e verificar o desempenho do seu celular em meio a outros aparelhos do mercado, através do nosso ranking.