Ai explicável: O que é isso? Como funciona? E que papel os dados desempenham?

À medida que as empresas expandem seus esforços de inteligência artificial (AI), elas precisam abordar questões importantes e, muitas vezes, difíceis. A IA está a ser utilizada de forma responsável? Os resultados que a IA produz podem ser explicados? Como os dados sustentam todos os processos de AI, essa série de posts analisa questões importantes de IA do ponto de vista dos dados, do gerenciamento de dados e da governança de dados. Este segundo post se concentra em IA explicável. O post final da série examinará a aprendizagem federada.

O primeiro post desta série discutiu quatro princípios de IA responsável e ética: Equidade, privacidade, segurança e interpretabilidade (também conhecida como explicabilidade). Os modelos de IA agora estão incorporados em todos os aspetos de nossas vidas, afetando decisões importantes de quem é contratado para quem é aprovado para um empréstimo. A inteligência artificial explicável (XAI) tornou-se crucial para entender como um modelo de IA alcança decisões e para identificar fontes de erro.

Este post examina por que a IA explicável é importante, os desafios associados e o papel crucial que os dados desempenham.

Primeiro, é importante entender o que XAI é e por que é necessário. Os algoritmos de AI geralmente operam como "caixas pretas" que recebem entrada e fornecem saída sem nenhuma maneira de entender seu funcionamento interno. O objetivo do XAI é tornar a lógica por trás da saída de um algoritmo compreensível pelos humanos.

Por exemplo, muitos algoritmos de AI usam o deep learning, no qual os algoritmos aprendem a identificar padrões com base em montes de dados de treinamento. A aprendizagem profunda é uma abordagem de rede neural que imita a maneira como nossos próprios cérebros são conetados. Assim como nos processos de pensamento humano, pode ser difícil ou impossível determinar como um algoritmo de aprendizagem profunda chegou a uma previsão ou decisão.

Decisões sobre contratação e casos de uso de serviços financeiros, como pontuações de crédito e aprovações de empréstimos, são importantes e vale a pena explicar. No entanto, ninguém provavelmente será fisicamente prejudicado (pelo menos não imediatamente) se um desses algoritmos fizer uma má recomendação. Mas há muitos exemplos em que as consequências são muito mais terríveis.

Algoritmos de aprendizagem profunda são cada vez mais importantes em casos de uso de saúde, como a triagem do Câncer, onde é importante que os médicos entendam a base para o diagnóstico de um algoritmo. Um falso negativo pode significar que um paciente não recebe tratamento que salva vidas. Um falso positivo, por outro lado, pode resultar em um paciente recebendo tratamento caro e invasivo quando não é necessário. Um nível de explicabilidade é essencial para radiologistas e oncologistas que procuram tirar o máximo proveito dos benefícios crescentes da IA.

Para expandir a ideia do que constitui O XAI, o Instituto Nacional de padrões (NIST), parte do Departamento de Comércio dos EUA, define quatro princípios de inteligência artificial explicável :

• Um sistema de IA deve fornecer "evidências, suporte ou raciocínio para cada saída".
• Um sistema de IA deve fornecer explicações que seus usuários possam entender.
• Precisão da explicação. Uma explicação deve refletir com precisão o processo que o sistema de IA usou para chegar à saída.
• Limites de conhecimento. Um sistema de IA deve operar apenas nas condições para as quais foi projetado e não fornecer saída quando não houver confiança suficiente no resultado.

Aqui estão exemplos de como esses princípios se aplicam.

Explicação
NIST define cinco tipos de explicação:

• Informe o assunto de um algoritmo. Um exemplo óbvio seria uma explicação de porque um empréstimo foi ou não aprovado.
• Construir confiança social em um sistema de IA. Em vez de explicar resultados específicos, alguns tipos de explicações justificam o modelo e a abordagem utilizados para aumentar a confiança. Isso pode incluir explicar o propósito do algoritmo, como ele foi criado, quais dados foram usados e de onde ele veio e quais são seus pontos fortes e limitações.
• Satisfazer requisitos de conformidade ou regulamentação. À medida que os algoritmos de AI se tornam cada vez mais importantes em setores regulamentados, eles precisam ser capazes de demonstrar a adesão aos regulamentos. Por exemplo, os algoritmos de IA para auto-condução devem explicar como estão em conformidade com os regulamentos de trânsito aplicáveis.
• Ajudar com o desenvolvimento do sistema adicional. Durante o desenvolvimento da IA, a equipe técnica precisa entender onde e por que um sistema gera a saída errada para melhorar o sistema.
• Beneficie o proprietário do algoritmo. As empresas estão implantando a IA em todos os setores, esperando obter benefícios significativos. Por exemplo, um serviço de streaming se beneficia de recomendações explicáveis que mantêm os usuários assinando o serviço.

Significativo
o princípio do significado é satisfeito quando um usuário entende a explicação fornecida. Para um determinado algoritmo de IA, pode haver diferentes tipos de usuários que exigem explicações. No exemplo de carro autônomo, uma explicação que satisfaz o motorista do carro, como "a IA categorizou o saco de plástico na estrada como uma rocha, e, portanto, tomou medidas para evitar atingi-lo" não iria satisfazer as necessidades de um desenvolvedor de IA tentando corrigir o problema. O desenvolvedor precisa entender por que o saco de plástico foi mal classificado.

Explicação precisão
explicação a precisão é separada da precisão de saída. Um algoritmo de IA precisa explicar com precisão como ele atingiu sua saída. Se um algoritmo de aprovação de empréstimo explicar uma decisão baseada no rendimento e na dívida de um requerente quando a decisão foi realmente baseada no código postal do requerente, a explicação não é exata.

Limites de conhecimento
um sistema de IA pode atingir seus limites de conhecimento de duas maneiras. A entrada poderia estar fora da experiência do sistema. O NIST usa o exemplo de um sistema construído para classificar espécies de aves. Se você der uma imagem de uma maçã, o sistema deve explicar que a entrada não é um pássaro. Alternativamente, se você der ao sistema uma imagem desfocada, ele deve relatar que não pode identificar o pássaro na imagem, ou que sua identificação tem muito baixa confiança.

Esses princípios ajudam a definir a saída esperada DO XAI, mas eles não oferecem nenhuma orientação sobre como alcançar essa saída. Pode ser útil subdividir XAI em três categorias:

• Dados explicáveis. Que dados foram para o treinamento de um modelo? Por que esses dados foram escolhidos? Como a justiça foi avaliada? Foi feito algum esforço para remover o viés?
• Previsões explicáveis. Que caraterísticas de um modelo foram ativadas ou utilizadas para atingir uma determinada saída?
• Algoritmos explicáveis. Quais são as camadas individuais que compõem o modelo e como elas levam à saída ou previsão?

Para redes neurais em particular, os dados explicáveis são a única categoria que é direta de alcançar, pelo menos em princípio. Muita pesquisa em andamento está focada em como alcançar previsões explicáveis e algoritmos. Existem duas abordagens atuais para a explicabilidade:

• Modelagem de proxy. Um tipo diferente de modelo, como uma árvore de decisão, é usado para aproximar o modelo real. Por ser uma aproximação, pode diferir dos resultados do modelo verdadeiro.
• Design para interpretabilidade. Os modelos foram concebidos para serem fáceis de explicar. Essa abordagem corre o risco de reduzir a potência preditiva ou a precisão geral de um modelo.

Modelos explicáveis são às vezes referidos como modelos de "caixa branca". Como observado em um blog recente, "com IA de caixa branca explicável, os usuários podem entender a lógica por trás de suas decisões, tornando-a cada vez mais popular em ambientes de negócios. Esses modelos não são tão impressionantes tecnicamente quanto os algoritmos de caixa preta." Técnicas explicáveis incluem árvores de decisão, redes bayesianas, modelos lineares esparsose outros.

Os pesquisadores também estão procurando maneiras de tornar os modelos de caixa preta mais explicáveis, por exemplo, incorporando gráficos de conhecimento e outras técnicas relacionadas ao gráfico.

Os dados explicáveis são a categoria mais atingível do XAI. No entanto, dadas as montanhas de dados que podem ser usados para treinar um algoritmo de IA, "atingível" não é tão fácil quanto parece. O algoritmo de linguagem natural GPT-3 é um exemplo extremo. Embora o modelo seja capaz de imitar a linguagem humana, ele também internalizou muito conteúdo tóxico da internet durante o treinamento.

Como o Google observa, um "sistema de IA é melhor compreendido pelos dados de treinamento e processo de treinamento subjacentes, bem como pelo modelo de IA resultante." Esse entendimento requer a capacidade de mapear um modelo de IA treinado para o conjunto de dados exato que foi usado para treiná-lo, com a capacidade de examinar esses dados de perto, mesmo que já tenham sido anos desde que uma versão de um modelo foi treinada.

Uma das maneiras mais fáceis de melhorar a explicabilidade de um modelo é prestar muita atenção aos dados usados para treiná-lo. Durante a fase de projeto, as equipes precisam determinar de onde os dados para treinar um algoritmo virão, se ou não esses dados, supondo que existam, foram obtidos de forma legal e ética, se os dados contêm viés e o que pode ser feito para mitigar esse viés. Esse é um grande trabalho que não deve ser subestimado; 67% das empresas utilizam de mais de 20 fontes de dados para sua IA.

Também é importante excluir cuidadosamente os dados que são irrelevantes ou devem ser irrelevantes para o resultado. Anteriormente, eu mencionei a possibilidade de que um algoritmo de aprovação de empréstimo poderia basear decisões em grande parte no código postal de um candidato. A melhor maneira de garantir que a saída de um algoritmo não seja baseada em um fator que deve ser irrelevante, como um código postal que muitas vezes serve como proxy para corrida, não é incluir esses dados no conjunto de treinamento ou nos dados de entrada.

Como os dados explicáveis são essenciais para O XAI, sua organização precisa cultivar as melhores práticas para gerenciamento de dados e governança de dados. Essas práticas recomendadas incluem rastreabilidade completa para os conjuntos de dados usados para treinar cada versão de cada modelo de AI que você opera.

Na NetApp, somos especialistas em ajudar empresas a extrair mais dos dados. Ajudamos você a gerenciar os dados em qualquer lugar, seja no local ou na nuvem. É assim que tornamos os dados acessíveis, protegidos e otimizados em termos de custos.

Os especialistas em AI da NetApp trabalham com você para criar um Data Fabric– um ambiente de gerenciamento de dados unificado que abrange dispositivos de borda, data centers e nuvens públicas. Assim, seus dados de AI podem ser ingeridos, coletados, armazenados e protegidos com eficiência.

As soluções de AI da NetApp oferecem as ferramentas necessárias para expandir seus esforços de AI.

• A IA da ONTAP acelera todas as facetas do treinamento e da inferência em IA.
• O NVIDIA DGX Foundry with NetApp oferece desenvolvimento de AI de classe mundial sem a dificuldade de criá-lo por conta própria.
• O plano de controle de AI do NetApp combina MLOps e a tecnologia NetApp para simplificar o gerenciamento de dados e facilitar a experimentação.
• O Toolkit para operações de dados da NetApp facilita o gerenciamento dos grandes volumes de dados necessários para a AI.
• O NetApp Cloud Data Sense ajuda você a descobrir, mapear e classificar dados. Analise uma ampla e crescente variedade de fontes de dados, estruturadas ou não estruturadas, na nuvem ou no local.

Ao adotar o plano de controle e o kit de ferramentas de operações de dados da NetApp AI, sua equipe pode gerenciar dados de forma eficiente e segura, garantindo a rastreabilidade e a reprodutibilidade que são uma base essencial para dados explicáveis.

Para saber como o NetApp pode ajudar você a fornecer o gerenciamento de dados e a governança de dados essenciais para a inteligência artificial explicável, visite netapp.com/artificial-intelligence/.