Benchmarks

O projeto LuxAI oferece uma plataforma de teste robusta para avaliar o desempenho da IA em diversos hardwares, com destaque para os resultados detalhados de nossos benchmarks. Nossa plataforma testa modelos de IA em SoCs mobile, medindo consistentemente tempo de inferência e consumo de recursos. Avaliamos a velocidade de inferência para modelos essenciais de aprendizado profundo para aplicativos de visão computacional, abrangendo detecção e classificação de objetos, segmentação semântica, análise e aprimoramento de imagens/vídeos, estimativa de profundidade e pose, além de imagens biomédicas. Validamos a capacidade dos dispositivos de executar tanto a visão computacional tradicional (como CNNs) quanto os novos modelos de LLMs, em diferentes configurações de resolução e precisão do modelo, incluindo FP8, FP16, INT8 e INT16, além de execução paralela.

A plataforma desenvolvida pelo LuxAI também verifica a viabilidade de rodar modelos grandes, como Bert (~110M), testando as capacidades e limitações do hardware para diferentes implementações de modelos. Isso inclui checar o tempo de inferência, uso de memória e consumo de energia, tanto para modelos grandes quanto pequenos. As avaliações são constantemente atualizadas com base nos principais modelos de última geração, garantindo uma medição precisa e confiável do desempenho dos dispositivos. Explore os resultados de nossos benchmarks e descubra como eles podem orientar suas decisões tecnológicas e otimizar o uso de IA em sua infraestrutura.