Governança, risco e compliance em português · gratuito, cadastro opcional
Entrar

NIST AI RMF 1.0 — Perfil 3 — Avançado

72 controles. Marque a situação de cada um; o painel à direita mostra sua nota em tempo real.

Matriz de risco opcional

A avaliação mede o quanto seus controles cobrem cada área. Para isso virar uma matriz de risco faltam duas informações que só você tem: o quanto um incidente neste ambiente é provável, e o quanto dói se acontecer. Informe as duas e o relatório traz a matriz e o mapa de calor — a eficácia de cada área sai das suas próprias respostas, não é estimada. Deixe em branco para pular.

GOVERN GOVERN (Governar)

GOVERN.1.1 Requisitos legais e regulatórios envolvendo IA são compreendidos e documentados.
GOVERN.1.2 As características de IA confiável estão integradas às políticas e práticas da organização.
GOVERN.1.3 Existem processos para determinar o nível de gestão de risco necessário, conforme a tolerância a risco da organização.
GOVERN.1.4 O processo de gestão de risco de IA é estabelecido por políticas transparentes, baseadas em prioridades organizacionais.
GOVERN.1.5 Monitoramento contínuo e revisão periódica do processo de gestão de risco são planejados, com papéis e frequência definidos.
GOVERN.1.6 Existe mecanismo para inventariar os sistemas de IA da organização, com recursos alocados conforme a prioridade de risco.
GOVERN.1.7 Existem processos para descomissionar e desativar sistemas de IA com segurança, sem aumentar risco.
GOVERN.2.1 Papéis, responsabilidades e linhas de comunicação sobre risco de IA são documentados e claros para todos os times.
GOVERN.2.2 O pessoal e os parceiros recebem treinamento em gestão de risco de IA compatível com suas funções.
GOVERN.2.3 A liderança executiva assume responsabilidade formal pelas decisões de risco associadas a sistemas de IA.
GOVERN.3.1 Decisões sobre mapeamento, medição e gestão de risco de IA são informadas por uma equipe diversa (disciplinas, experiência, formação).
GOVERN.3.2 Políticas definem e diferenciam papéis e responsabilidades para configurações humano-IA e supervisão humana.
GOVERN.4.1 Políticas organizacionais fomentam uma mentalidade de segurança e pensamento crítico no design e desenvolvimento de IA.
GOVERN.4.2 Os times documentam os riscos e impactos potenciais da tecnologia de IA que projetam, desenvolvem ou usam, e comunicam isso amplamente.
GOVERN.4.3 Práticas organizacionais habilitam testes de IA, identificação de incidentes e compartilhamento de informação sobre eles.
GOVERN.5.1 Políticas coletam, consideram e priorizam feedback externo sobre impactos individuais e sociais potenciais do sistema de IA.
GOVERN.5.2 Existem mecanismos para incorporar regularmente o feedback de atores relevantes no design e na implementação do sistema.
GOVERN.6.1 Políticas endereçam riscos de IA associados a terceiros, incluindo violação de propriedade intelectual.
GOVERN.6.2 Existem processos de contingência para falhas ou incidentes em dados ou sistemas de IA de terceiros de alto risco.

Matriz de risco opcional

A avaliação mede o quanto seus controles cobrem cada área. Para isso virar uma matriz de risco faltam duas informações que só você tem: o quanto um incidente neste ambiente é provável, e o quanto dói se acontecer. Informe as duas e o relatório traz a matriz e o mapa de calor — a eficácia de cada área sai das suas próprias respostas, não é estimada. Deixe em branco para pular.

MAP MAP (Mapear)

MAP.1.1 Propósitos, usos benéficos, leis aplicáveis e contexto de implantação do sistema de IA são compreendidos e documentados.
MAP.1.2 Atores interdisciplinares que participam da definição de contexto refletem diversidade demográfica e de experiência.
MAP.1.3 A missão da organização e as metas relevantes para a tecnologia de IA são compreendidas e documentadas.
MAP.1.4 O valor de negócio ou o contexto de uso do sistema de IA está claramente definido ou reavaliado.
MAP.1.5 As tolerâncias a risco da organização são determinadas e documentadas.
MAP.1.6 Requisitos do sistema são levantados junto aos atores relevantes, e as decisões de design consideram implicações sociotécnicas.
MAP.2.1 As tarefas específicas e os métodos usados pelo sistema (ex.: classificadores, modelos generativos) são definidos.
MAP.2.2 Os limites de conhecimento do sistema e como a saída é usada e supervisionada por humanos são documentados.
MAP.2.3 Integridade científica e considerações de teste/avaliação/verificação/validação (TEVV) são identificadas e documentadas.
MAP.3.1 Benefícios potenciais da funcionalidade e do desempenho pretendidos do sistema de IA são examinados e documentados.
MAP.3.2 Custos potenciais, incluindo não monetários, decorrentes de erros ou falhas de confiabilidade do sistema são examinados e documentados.
MAP.3.3 O escopo de aplicação pretendido é especificado com base na capacidade e no contexto do sistema.
MAP.3.4 Processos para avaliar a proficiência de operadores com o sistema de IA são definidos e avaliados.
MAP.3.5 Processos de supervisão humana são definidos e avaliados, de acordo com as políticas da função GOVERN.
MAP.4.1 Abordagens para mapear riscos tecnológicos e legais dos componentes do sistema, incluindo os de terceiros, são seguidas e documentadas.
MAP.4.2 Controles internos de risco para os componentes do sistema de IA, incluindo tecnologia de terceiros, são identificados e documentados.
MAP.5.1 Probabilidade e magnitude de cada impacto identificado (benéfico ou prejudicial) são identificadas e documentadas.
MAP.5.2 Práticas e pessoal para engajamento regular com atores relevantes e integração de feedback sobre impactos estão em vigor.

Matriz de risco opcional

A avaliação mede o quanto seus controles cobrem cada área. Para isso virar uma matriz de risco faltam duas informações que só você tem: o quanto um incidente neste ambiente é provável, e o quanto dói se acontecer. Informe as duas e o relatório traz a matriz e o mapa de calor — a eficácia de cada área sai das suas próprias respostas, não é estimada. Deixe em branco para pular.

MEASURE MEASURE (Medir)

MEASURE.1.1 Abordagens e métricas de medição dos riscos de IA identificados no MAP são selecionadas, priorizando os riscos mais significativos.
MEASURE.1.2 A adequação das métricas de IA e a eficácia dos controles existentes são avaliadas e atualizadas regularmente.
MEASURE.1.3 Especialistas internos independentes (que não desenvolveram o sistema) ou avaliadores externos participam das avaliações regulares.
MEASURE.2.1 Conjuntos de teste, métricas e ferramentas usados no processo de TEVV são documentados.
MEASURE.2.2 Avaliações que envolvem sujeitos humanos atendem aos requisitos aplicáveis e são representativas da população relevante.
MEASURE.2.3 O desempenho do sistema é medido qualitativa ou quantitativamente em condições próximas às de uso real.
MEASURE.2.4 A funcionalidade e o comportamento do sistema de IA e de seus componentes são monitorados quando em produção.
MEASURE.2.5 O sistema a ser implantado é demonstrado como válido e confiável, com as limitações de generalização documentadas.
MEASURE.2.6 O sistema de IA é avaliado regularmente quanto a riscos de segurança (safety) identificados no MAP.
MEASURE.2.7 Segurança (security) e resiliência do sistema são avaliadas e documentadas.
MEASURE.2.8 Riscos associados a transparência e prestação de contas são examinados e documentados.
MEASURE.2.9 O modelo é explicado e validado, e a saída do sistema é interpretada em seu contexto de uso.
MEASURE.2.10 O risco de privacidade do sistema de IA é examinado e documentado.
MEASURE.2.11 Equidade e viés do sistema são avaliados e os resultados documentados.
MEASURE.2.12 O impacto ambiental e a sustentabilidade das atividades de treinamento e manutenção do modelo são avaliados.
MEASURE.2.13 A efetividade das próprias métricas e processos de TEVV usados na função MEASURE é avaliada e documentada.
MEASURE.3.1 Abordagens, pessoal e documentação para identificar e rastrear riscos de IA existentes e emergentes estão em vigor.
MEASURE.3.2 Abordagens de rastreamento são consideradas mesmo para cenários em que as técnicas de medição disponíveis são limitadas.
MEASURE.3.3 Processos de feedback para usuários finais reportarem problemas e contestarem resultados do sistema estão estabelecidos.
MEASURE.4.1 As abordagens de medição de risco são conectadas ao contexto real de implantação do sistema.
MEASURE.4.2 Os resultados de medição sobre a confiabilidade do sistema são informados por consulta a especialistas de domínio.
MEASURE.4.3 Melhorias ou pioras mensuráveis são identificadas a partir de consultas a atores relevantes e dados reais de uso.

Matriz de risco opcional

A avaliação mede o quanto seus controles cobrem cada área. Para isso virar uma matriz de risco faltam duas informações que só você tem: o quanto um incidente neste ambiente é provável, e o quanto dói se acontecer. Informe as duas e o relatório traz a matriz e o mapa de calor — a eficácia de cada área sai das suas próprias respostas, não é estimada. Deixe em branco para pular.

MANAGE MANAGE (Gerenciar)

MANAGE.1.1 É determinado se o sistema de IA atinge seus objetivos pretendidos e se o desenvolvimento/implantação deve prosseguir.
MANAGE.1.2 O tratamento dos riscos documentados é priorizado por impacto, probabilidade e recursos disponíveis.
MANAGE.1.3 Respostas aos riscos de alta prioridade são desenvolvidas, planejadas e documentadas (mitigar, transferir, evitar ou aceitar).
MANAGE.1.4 Os riscos residuais negativos (a soma dos riscos não mitigados) são documentados.
MANAGE.2.1 Os recursos necessários para gerir o risco de IA e alternativas viáveis sem IA são considerados.
MANAGE.2.2 Existem mecanismos para sustentar o valor dos sistemas de IA já implantados ao longo do tempo.
MANAGE.2.3 Existem procedimentos para responder e se recuperar quando um risco previamente desconhecido é identificado.
MANAGE.2.4 Existem mecanismos, com responsabilidades definidas, para suspender ou desativar sistemas de IA com desempenho inconsistente.
MANAGE.3.1 Riscos e benefícios vindos de recursos de terceiros são monitorados regularmente, com controles aplicados e documentados.
MANAGE.3.2 Modelos pré-treinados usados no desenvolvimento são monitorados como parte da manutenção regular do sistema.
MANAGE.4.1 Planos de monitoramento pós-implantação incluem mecanismos de apelação, override, descomissionamento e resposta a incidentes.
MANAGE.4.2 Atividades mensuráveis de melhoria contínua são integradas às atualizações do sistema, com engajamento regular de atores relevantes.
MANAGE.4.3 Incidentes e erros são comunicados aos atores relevantes, com processos de rastreamento, resposta e recuperação seguidos e documentados.
Trocar de perfil