NVIDIA Riva

NVIDIA Riva é um framework de softwares para servi?os de AI conversacional multimodal que oferece desempenho em tempo real em GPUs.

Webinar Introdutório Inscreva-se no Programa Beta

Riva é um framework de softwares totalmente acelerado para a cria??o de servi?os de AI conversacional multimodal que seguem um pipeline de deep learning de ponta a ponta. Os desenvolvedores podem ajustar facilmente modelos de última gera??o de acordo com seus dados para entender melhor o seu contexto específico, otimizando a inferência e oferecendo servi?os em tempo real de ponta a ponta que s?o executados em menos de 300ms, garantindo uma taxa de transferência 7 vezes maior com GPUs em compara??o a CPUs.

O framework Riva conta com modelos pré-treinados de AI conversacional, ferramentas do Kit de Ferramentas de AI da NVIDIA e servi?os otimizados de ponta a ponta para tarefas de fala, vis?o e compreens?o de linguagem natural (NLU - Natural Language Understanding).

Com a uni?o simultanea de vis?o, áudio e outras informa??es de sensores, é possível ter recursos como conversas com vários usuários e vários contextos em softwares como assistentes virtuais, de compromissos para vários usuários e de centrais de atendimento.

Os softwares baseados no Riva foram otimizados para maximizar o desempenho na plataforma NVIDIA EGX? no cloud, no data center e no edge.

Desempenho em Tempo Real

Execute softwares de AI conversacional baseados em deep learning em menos de 300 ms, o limite de latência para o desempenho em tempo real.

Multimodal

Unifique fala e vis?o para oferecer intera??es precisas e naturais em assistentes virtuais, chatbots e outros softwares de AI conversacional.

Implementa??o Automatizada

Use um comando para implementar servi?os de AI conversacional no cloud ou no edge.

“A Ping An atende a milh?es de consultas de clientes todos os dias usando agentes de chat-bot. Como um dos primeiros parceiros do programa de acesso antecipado do Riva, fomos capazes de usar as ferramentas e construir solu??es melhores com maior precis?o e menor latência, fornecendo assim melhores servi?os. Mais especificamente, com o NeMo, o modelo pré-treinado, e o pipeline ASR otimizado com Riva, o sistema obteve 5% de melhoria na precis?o, de forma a atender nossos clientes com melhor experiência.”
— Dr. Jing Xiao, Cientista-Chefe da Ping An

“Em nossa avalia??o do Riva para assistentes virtuais e análise de fala, vimos uma precis?o notável ao ajustar os modelos de reconhecimento automatizado de fala no idioma russo usando o kit de ferramentas NeMo no Riva. O Riva pode fornecer desempenho de rendimento de até 10 vezes com otimiza??es TensorRT poderosas em modelos, por isso estamos ansiosos para usar Riva para obter o máximo desses avan?os tecnológicos.”

— Nikita Semenov, Chefe de ML na MTS AI

“A InstaDeep oferece produtos e solu??es de AI de tomada de decis?o para empresas. Para este projeto, nosso objetivo é construir um assistente virtual na língua árabe, e NVIDIA Riva desempenhou um papel significativo na melhoria do desempenho da aplica??o. Usando o kit de ferramentas NeMo no Riva, pudemos ajustar um modelo de fala para texto em árabe para obter uma taxa de erro de palavras t?o baixa quanto 7,84% e reduzimos o tempo de treinamento do modelo de dias para horas usando as GPUs. Esperamos integrar esses modelos no pipeline de ponta a ponta do Riva para garantir latência em tempo real.”
— Karim Beguir, CEO e Cofundador da InstaDeep

“Na Intelligent Voice, fornecemos solu??es de reconhecimento de voz de alto desempenho, mas nossos clientes est?o sempre procurando mais. O Riva adota uma abordagem multimodal que funde elementos-chave do Reconhecimento Automático de Fala com correspondência de entidade e inten??o para lidar com novos casos de uso onde rendimento e baixa latência s?o necessários. A API Riva é muito fácil de usar, integrar e personalizar os workflows de nossos clientes para desempenho otimizado.”
— Nigel Cannings, CTO da Intelligent Voice

“Na Northwestern Medicine, nosso objetivo é melhorar a satisfa??o do paciente e a produtividade da equipe com nosso conjunto de solu??es de AI na área da saúde. A AI de conversa??o, desenvolvida pelo NVIDIA Clara Guardian e pelo Riva, melhorou a seguran?a do paciente e da equipe durante o COVID-19, reduzindo o contato físico direto e, ao mesmo tempo, oferecendo cuidados de alta qualidade. Os modelos Riva ASR e TTS tornam essa AI de conversa??o uma realidade. Os pacientes agora n?o precisam mais esperar que a equipe clínica esteja disponível: eles podem receber respostas imediatas de um assistente virtual equipado com AI.”
— Andrew Gostine, MD, MBA, CEO do Whiteboard Coordinator

“A baixa latência é crítica em call centers e, com as GPUs NVIDIA, nossos atendentes podem ouvir, entender e responder em menos de um segundo com os mais altos níveis de precis?o. Com base nas primeiras avalia??es de canais de compreens?o de fala e linguagem no NVIDIA Riva, acreditamos que podemos melhorar a latência ainda mais, mantendo a precis?o, oferecendo a melhor experiência possível para nossos clientes.”

— Alan Bekker, cofundador e CTO da Voca

“Por meio do programa de acesso antecipado do NVIDIA Riva, pudemos potencializar nossos produtos de AI de conversa??o com modelos de última gera??o usando NVIDIA NeMo, reduzindo significativamente o custo inicial. O reconhecimento de voz do Riva tem latência incrivelmente baixa e alta precis?o. Ter a flexibilidade para implantar no local e oferecer uma variedade de op??es de privacidade e seguran?a de dados para nossos clientes nos ajudou a posicionar nossos produtos habilitados para AI de conversa??o em novos setores da indústria.”
— Rajesh Jha, CEO da Siminsights.

“As aplica??es de AI de conversa??o consomem muitos dados. Imagine os dados necessários para treinar modelos ou o armazenamento necessário para conter todas as informa??es para ter intera??es mais naturais e úteis. O Riva nos ajudou a aproveitar esses dados para atingir nosso objetivo de criar assistentes virtuais para lojas de varejo com mais rapidez. Os pipelines Riva usam modelos de deep learning de última gera??o e executam as aplica??es de conversa??o em milissegundos.”

— AJ Mahajan, Diretor Sênior de Solu??es na NetApp

人人超碰97caoporen国产

Crie Modelos de Deep Learning de última Gera??o

Figura 1: Modelos pré-treinados

Use modelos de deep learning de última gera??o com mais de 100 mil horas de treinamento em sistemas NVIDIA DGX? para tarefas de fala, compreens?o de linguagem e vis?o. Os modelos e scripts pré-instalados usados no Riva est?o disponíveis gratuitamente no NGC?.

Você pode ajustar esses modelos para seu domínio com seus dados usando NVIDIA NeMo e o Kit de Ferramentas Transfer Learning para implantá-los facilmente como servi?os.

Desenvolva Novos Recursos Multimodais

Crie recursos multimodais, como transcri??o de vários locutores, chatbots, reconhecimento de gestos e ativa??o com o olhar para seus softwares de AI conversacional.

O Riva vem com exemplos de vários recursos que você pode personalizar conforme seu caso de uso. Com o Riva, você pode usar pipelines visuais, de fala e de compreens?o de linguagem, além de um gerenciador de caixas de diálogo compatível com vários usuários e contextos para criar outros recursos.

Figura 2: Software multimodal com vários usuários e contextos

Servi?os Otimizados para Tarefas Específicas

Figura 3: Servi?os de AI do Riva

Acesse servi?os de alto desempenho para tarefas como reconhecimento de fala, reconhecimento de inten??o, convers?o de texto em fala, estimativa de pose, detec??o de olhar e detec??o de pontos faciais com uma API simples.

é possível unir os pipelines de cada recurso para criar outros recursos. Todos os pipelines s?o ajustados para oferecer o maior desempenho possível e podem ser personalizados conforme seu caso de uso específico.

Crie e Implemente Servi?os Facilmente

Automatize as etapas de modelos pré-treinados a servi?os otimizados implementados no cloud, no data center e no edge. Além disso, o Riva aplica otimiza??es avan?adas do NVIDIA? TensorRT? a modelos, configura o Servidor de Inferência NVIDIA Triton?, e exp?e os modelos como um servi?o usando uma API padr?o.

Na implementa??o, você pode usar um único comando para baixar, configurar e executar todo o software Riva ou servi?os individuais por meio de pacotes Helm em clusters do Kubernetes. Os pacotes Helm podem ser personalizados conforme seu caso de uso e sua configura??o.