Tone Profiler
Neural A2.

O que é modelagem neural de áudio?

NAM é uma abordagem aberta de modelagem de áudio que usa aprendizado de máquina para aproximar o comportamento de equipamentos reais a partir de exemplos de entrada e saída. O objetivo não é desenhar um circuito virtual componente por componente, mas aprender matematicamente como um sistema transforma um sinal ao longo do tempo.

Esse conceito pode ser aplicado a amplificadores de guitarra e baixo, pedais, pré-amplificadores, processadores externos, cadeias inteiras e outras transformações que apresentem uma relação observável entre entrada e saída.

Como uma captura neural aprende

Um processo de treinamento começa com um conjunto de exemplos em que cada trecho de áudio de entrada possui uma saída correspondente. Em um fluxo baseado em sinal de teste, um estímulo conhecido é enviado pelo equipamento. Em um fluxo DRY/WET, uma performance real pode servir como matéria-prima, desde que o par permaneça sincronizado.

1. Preparação: defina exatamente o equipamento, cadeia, posição de microfone e ajustes que deseja representar.
2. Entrada: registre o sinal antes do processamento.
3. Saída: registre a mesma ocorrência depois do equipamento.
4. Alinhamento: mantenha os dois lados correspondentes no tempo e evite alterações diferentes entre as faixas.
5. Treinamento: a rede ajusta seus parâmetros para reduzir o erro entre a saída prevista e a saída real.
6. Validação: o resultado pode ser avaliado em dados que não foram usados diretamente para ajustar os pesos.

NAM e IR não são a mesma coisa

Uma cadeia de guitarra frequentemente combina os dois: o NAM pode representar o estágio de amplificação e a IR representar a caixa/microfone. Quando o alvo já contém amp e caixa em uma única captura, uma IR separada pode não ser necessária.

O que é a arquitetura A2?

A2 é uma arquitetura específica criada dentro do ecossistema NAM com foco simultâneo em precisão e eficiência computacional. Em vez de tratar “NAM” e “A2” como sinônimos, vale pensar em NAM como o conjunto de ferramentas e abordagens de modelagem neural, enquanto A2 é uma família arquitetural concreta.

Em material público sobre A2, a arquitetura é apresentada como uma evolução do A1 e inclui mudanças de ativação, organização das convoluções, campo receptivo, padrões de dilatação e a possibilidade de empacotar diferentes larguras do mesmo modelo.

A2-Lite e A2-Full

As duas variantes não são dois treinamentos independentes. O conceito “slimmable” permite que uma mesma rede treinada seja executada em larguras diferentes. A implementação pública de A2 descreve uma versão completa com 8 canais e uma versão Lite com 3 canais, acondicionadas em um único arquivo final.

Essa organização é importante porque o aplicativo ou dispositivo compatível pode escolher a variante adequada sem exigir dois arquivos e dois treinamentos separados.

O que mudou na arquitetura A2

Entre as mudanças documentadas publicamente estão uma ativação Leaky ReLU no lugar da Tanh usada no A1, um cabeçalho convolucional que observa uma janela de amostras, mistura de tamanhos de kernel em uma mesma organização de camadas e um padrão de dilatação não simplesmente duplicado.

O padrão de dilatação

O agendamento documentado para os blocos principais usa a sequência 1, 3, 7, 17, 41, 101 e 239, com duas camadas de degridding usando kernel mais largo entre blocos. O objetivo é espalhar a cobertura temporal sem depender de um esquema de duplicação simples.

Essa janela maior ajuda a rede a considerar contexto recente suficiente para responder a comportamentos dependentes do tempo, como compressão, sag e outras formas de memória curta do equipamento.

Compatibilidade, A1 e migração

A2 não é um simples “upgrade” binário do A1. É uma arquitetura diferente e, por isso, o software que executa o modelo precisa conhecer A2. Capturas A1 continuam sendo úteis em ambientes que ainda oferecem suporte à arquitetura antiga.

Um ponto importante do ecossistema é que a mesma sessão de treinamento A2 pode fornecer as duas larguras do modelo empacotado. O host decide qual caminho usar ou permite ao usuário selecionar, dependendo da implementação.

ESR e outras formas de avaliar um modelo

ESR, ou Error-to-Signal Ratio, é uma forma normalizada de quantificar a diferença entre a saída prevista e uma referência. Quanto menor o erro medido, mais próxima está a saída do modelo sob aquela métrica específica.

Essas métricas são diferentes formas de observar o mesmo problema. Uma única pontuação nunca descreve, sozinha, toda a experiência de tocar um equipamento real.

Onde o Tone Profiler entra nisso

O Tone Profiler é um aplicativo independente desenvolvido por Rafael de Paiva para produzir modelos no ecossistema NAM A2 usando um fluxo de treinamento local baseado em pares DRY/WET.

Em vez de restringir o usuário a um sweep como único material de coleta, o método DRY/WET permite registrar uma performance própria ou outra transformação de áudio, preservando simultaneamente o sinal de entrada e o resultado processado. Isso abre espaço para explorar mais situações de uso, desde que a relação entre entrada e saída seja consistente e tecnicamente bem gravada.

O que pode ser capturado com DRY/WET?

• Amplificadores e cabeçotes.
• Amplificadores com caixa e microfone.
• Pedais de overdrive, distorção, fuzz e combinações.
• Processadores externos, compressores e equalizadores.
• Cadeias inteiras de sinal.
• Diferenças produzidas por microfones ou posições de captação.
• Transformações criativas e equipamentos menos convencionais.
• Outros processos que possuam um par de entrada e saída correspondente.

Boas práticas para uma captura DRY/WET

1. Use a mesma performance nos dois caminhos.
2. Não mova, corte ou comprima somente uma das faixas depois da gravação.
3. Evite clipping e mantenha margem de nível.
4. Use gravação mono, 48 kHz e 24 bits quando estiver preparando o material para o Tone Profiler.
5. Verifique que as duas faixas tenham o mesmo comprimento e estejam perfeitamente sincronizadas.
6. Para um perfil abrangente, ofereça variedade de articulação: notas, acordes, dinâmica, bends, vibrato, abafamentos e regiões diferentes.
7. Para um perfil específico, mantenha a configuração física e os controles do equipamento estáveis durante toda a coleta.

Por que A2 foi projetado para ser eficiente?

A documentação técnica pública descreve duas frentes de inferência: um caminho otimizado em C++ para plugins e aplicações e uma implementação em C para contextos embarcados. Um dos gargalos de redes desse tipo é a multiplicação de pequenas matrizes; otimizações específicas para os poucos canais da arquitetura reduzem o custo que bibliotecas genéricas podem introduzir em operações tão pequenas.

Também há otimizações de baixo nível para hardware limitado, como operações fundidas, ativações por tabela e organização de buffers. A ideia é tornar possível executar modelos neurais em dispositivos com orçamento muito menor que um computador desktop.

Como o treinamento A2 é preparado

A receita de treinamento documentada publicamente para A2 foi obtida por uma fase extensa de busca de hiperparâmetros. O objetivo foi encontrar um ponto de equilíbrio entre custo computacional, erro de amostra e comportamento espectral. A combinação final usa principalmente erro quadrático médio, acompanhado por um termo menor de MRSTFT, enquanto o ESR é usado como sinal de validação para acompanhar os checkpoints.

Os dados de treinamento também são normalizados para uma referência de aproximadamente -18 dB RMS. A escala aplicada durante o treino é compensada dentro do próprio cabeçalho do modelo, evitando uma etapa adicional de normalização durante a execução.

O que a equipe explorou

• Convolução agrupada para dividir canais em grupos independentes e diminuir o custo.
• Bottlenecks em blocos convolucionais para reduzir ou ampliar a largura dos canais antes da ativação.
• Um módulo de condicionamento que injeta informação em diferentes partes da rede.
• Funções de perda auxiliares, incluindo abordagens espectrais e tentativas de usar ESR diretamente como parte do treinamento.
• Média móvel exponencial, deslocamentos aleatórios de janelas, inclusão de chirps e diferentes estratégias de taxa de aprendizado.
• Experimentos com quantização e destilação para cenários embarcados.

Artefatos: aliasing e ringing

Redes neurais de áudio pequenas podem apresentar artefatos que não existem no equipamento real. Dois exemplos recorrentes são componentes inarmônicos parecidos com aliasing e um efeito de ressonância metálica conhecido como ringing.

Na descrição técnica de A2, parte da redução desses artefatos vem do novo cabeçalho convolucional, que observa uma janela de amostras e mistura a informação dos caminhos de saída ao longo do tempo. Isso dá à rede contexto suficiente para controlar melhor a resposta em altas frequências.

O desenho de dilatação e as camadas de degridding também foram escolhidos para diminuir regiões mal cobertas do campo receptivo que podem acumular comportamento de ringing.

O que significa “slimmable”

Em uma rede slimmable, uma única configuração treinada pode operar com diferentes larguras internas. No A2 isso permite empacotar uma variante Full de 8 canais e uma variante Lite de 3 canais no mesmo arquivo NAM, sem refazer a coleta de áudio para cada tamanho.

É uma forma de transformar orçamento de CPU em uma escolha prática de execução: o mesmo modelo pode ser usado em um computador com sobra de processamento ou em um hardware mais limitado.

Compatibilidade com software e hardware

A2 exige uma implementação que conheça a arquitetura. Em software, uma implementação compatível precisa usar uma versão do motor de inferência que suporte A2. Em hardware embarcado, o caminho pode ser diferente e pode usar uma implementação C otimizada para os recursos específicos do dispositivo.

Existe também um formato binário compacto conhecido como .namb, voltado para armazenamento/transporte de modelos em sistemas embarcados. Ele não é o arquivo NAM de uso geral; é uma representação específica para ambientes que adotam esse fluxo.

A2 x outros modeladores

Modeladores comerciais tradicionais costumam ser sistemas fechados, enquanto o ecossistema NAM/A2 foi concebido com código e implementação abertos. Isso permite que diferentes desenvolvedores criem hosts e integrações compatíveis, em vez de prender um modelo a um único aplicativo ou fabricante.

A2 também foi avaliado publicamente contra outras tecnologias de modelagem em testes objetivos e de escuta. É importante interpretar esses resultados dentro da metodologia usada, do conjunto de tons e das versões comparadas na época; os números não devem ser transformados em uma promessa universal para toda aplicação.

Arquiteturas, versões e termos que você pode encontrar

Como interpretar avaliações e testes

Uma avaliação séria de modelos pode combinar métricas objetivas com escuta humana. Em testes públicos de A2, foram usados ESR, MAE, LOG_MEL e MRSTFT, além de um protocolo MUSHRA para comparação auditiva. O conjunto publicado incluía 39 tons diferentes e mais de mil participantes, com dezenas de milhares de julgamentos. Esses resultados são úteis para entender tendências daquele estudo, mas não substituem a avaliação do seu próprio equipamento e da sua própria gravação.

Resumo visual