Pesquisas do Google divulgam estrutura de auditoria para fechar a lacuna de responsabilidade da IA

Pesquisadores associados ao Google e à Partnership on AI criaram uma estrutura para ajudar as empresas e suas equipes de engenharia a auditar os sistemas de IA antes de implantá-los. A estrutura, destinada a adicionar uma camada de garantia de qualidade às empresas que lançam IA, se traduz em valores de prática frequentemente adotados nos princípios de ética da IA e aborda uma lacuna de responsabilidade que os autores afirmam existir atualmente na IA.

O trabalho, intitulado "Fechando a lacuna de responsabilidade da IA: definindo uma estrutura de ponta a ponta para auditoria algorítmica interna" é um dos vários trabalhos de pesquisa de ética em IA da IA aceitos para publicação como parte do Fairness, Accountability and Transparency (FAT ), que acontece esta semana em Barcelona, Espanha.

“A estrutura de auditoria proposta visa contribuir para diminuir a lacuna de responsabilidade de desenvolvimento e implantação de sistemas de inteligência artificial em larga escala, incorporando um processo robusto para garantir a integridade da auditoria”, diz o documento. “No mínimo, o processo de auditoria interna deve permitir reflexões críticas sobre o impacto potencial de um sistema, servindo como educação interna e treinamento em conscientização ética, além de deixar o que chamamos de 'trilha de transparência' da documentação em cada etapa do processo. o ciclo de desenvolvimento ".

A estrutura também visa identificar riscos e reduzi-los ao menor grau possível, além de mapear como as coisas que podem ser feitas de maneira diferente no futuro ou como responder a uma falha após o lançamento. O método também se destina a ir além das avaliações baseadas em risco que algumas empresas realizam hoje e perguntam "E se?", Mas geralmente deixam de incorporar desafios sociais ou éticos.

Nomeada Escopo, Mapeamento, Coleta de Artefatos, Testes e Reflexão (SMACTR), a estrutura visa incentivar as empresas a realizar auditorias antes de um modelo de IA ser implantado para uso do cliente. No caso de empresas como o Google, um modelo pode afetar a vida de bilhões de usuários.

As auditorias SMACTR produzem vários documentos, incluindo listas de verificação que vão além das respostas sim ou não; arquivos de histórico de projeto para documentar entradas e saídas de projeto e cartões de modelo para garantir que a IA seja implantada para a finalidade pretendida; e análise de modos e efeitos de falha (FMEA) para incorporar problemas e experiências conhecidos de engenheiros e designers de produtos.

Cada letra do SMACTR deve atuar como um estágio no processo de auditoria:

• O estágio de escopo é quando o processo de avaliação de riscos e os auditores produzem avaliações de impacto social e uma revisão ética dos casos de uso do sistema.
• O estágio Mapeamento é para criar um mapa das partes interessadas internas e identificar os principais colaboradores para a execução da auditoria.
• O estágio Coleta de Artefatos é para a criação de uma lista de verificação de auditoria, bem como folhas de dados ou cartões de modelos que documentam como um modelo foi construído, suposições feitas durante o desenvolvimento e seu uso pretendido.
• O estágio de teste avalia o desempenho usando métodos como treinamento adversário e cria um gráfico de análise de risco ético que identifica a probabilidade e a gravidade de uma falha ou nível de risco.
• O estágio de reflexão é para as equipes de auditoria e engenharia avaliarem as recomendações internas do projeto ou criarem um plano de mitigação.

A estrutura de auditoria do algoritmo empresta-se a vários outros campos em que a segurança é essencial para proteger a vida humana, como aeroespacial e assistência médica, que agora realizam auditorias como parte do processo de design.

As indústrias foram movidas para tornar as auditorias uma maneira padrão de responder a uma série de falhas e escândalos ou elevar os padrões para atender às regulamentações governamentais. A estrutura adota ferramentas encontradas em outros setores, como FMEAs, bem como lições como "sistemas complexos tendem a se encaminhar para condições inseguras, a menos que seja mantida vigilância constante". No entanto, também reconhece que a IA pode encontrar problemas únicos.

Nove pesquisadores colaboraram na estrutura do SMACTR, incluindo os funcionários do Google, Andrew Smart, Margaret Mitchell e Timnit Gebru, além da ex-parceira da Partnership on AI e atual Deborah Raji, do AI Now Institute.

Mitchell e Gebru colaboraram nos modelos de cartões, uma abordagem que o Google Cloud agora usa para alguns de seus modelos de IA. Gebru também trabalhou em planilhas de dados para conjuntos de dados e colaborou separadamente com Joy Buolamwini, da Algorithmic Justice League, em auditorias dos principais serviços de software de reconhecimento facial vendidos por empresas como Microsoft e Amazon, que encontraram baixo desempenho para pessoas com pele escura e principalmente mulheres de cor.

O documento SMACTR também tenta reconhecer deficiências, como o fato de partes da auditoria dependerem ou serem vulneráveis ao julgamento humano. Exorta os auditores a estarem atentos a seus próprios vieses e aos pontos de vista de sua empresa para evitar que o processo de auditoria seja simplesmente um ato de gerenciamento de reputação. Os autores argumentam que essa abordagem pode ser cada vez mais valiosa à medida que os modelos de IA crescem em tamanho e distribuição em vários dispositivos.

"A IA tem potencial para beneficiar toda a sociedade", diz o jornal. “[Atualmente], sempre que existe uma distribuição desigual de riscos, aqueles que já enfrentam padrões de vulnerabilidade estrutural ou viés suportam desproporcionalmente os custos e danos de muitos desses sistemas. Justiça, justiça e ética exigem que os que enfrentam esses riscos recebam a devida atenção e que as organizações que constroem e implantem sistemas de inteligência artificial internalizem e tratem proativamente esses riscos sociais, sendo seriamente responsabilizadas pela conformidade do sistema com os princípios éticos declarados.