Tag: TI e inovação

Framework de segurança para IA: o que é e como aplicar um modelo integrado na empresa

[vc_row][vc_column][vc_column_text]

O que é um framework de segurança para IA?
É uma estrutura que ajuda a entender, classificar e operacionalizar riscos de IA — desde ataques e falhas técnicas até danos por conteúdo e uso indevido — para que a empresa adote IA com controles reais, não apenas com boas intenções. 

A IA deixou de ser experimento e virou camada operacional do negócio. Ao mesmo tempo, muita liderança se sente segura falando de cibersegurança “tradicional”, mas percebe a segurança de IA como um território novo e instável. 

E os números ajudam a explicar essa sensação. Segundo o Cisco 2025 AI Readiness Index, apenas 29% das empresas acreditam estar prontas para se defender de ameaças de IA, e só 33% têm um plano formal de gestão de mudanças para uma adoção responsável. 

Por isso, frameworks práticos viram peça-chave. Eles criam linguagem comum, priorização e caminho para execução.

Por que “segurança de IA” ficou fragmentada

Nos últimos anos, surgiram várias referências úteis. Algumas descrevem táticas adversariais em ML, outras listam riscos em LLMs e agentes, e outras trazem princípios de safety adotados por laboratórios de fronteira.

O problema é que, na prática, esses recortes não cobrem o cenário de ponta a ponta.

O que faltava era um modelo único que conectasse:

• segurança e safety, sem tratar como trilhas paralelas;

• runtime e supply chain, sem ignorar onde o risco nasce;

• comportamento do modelo e do sistema, porque o risco não mora só no prompt;

• entrada maliciosa e saída danosa, porque o impacto é o que machuca o negócio. 

Em outras palavras: o mundo real não separa esses domínios. E adversários também não.

O que a Cisco propõe: um framework integrado de AI Security + AI Safety

A Cisco apresenta o Integrated AI Security and Safety Framework como um modelo vendor-agnostic para entender como sistemas modernos de IA falham, como adversários exploram essas falhas e como empresas podem construir defesas que evoluem junto com a tecnologia. 

A proposta é tratar “AI Security Framework” como uma estrutura para cobrir:

• ameaças adversariais;

• falhas de segurança de conteúdo;

• comprometimento de modelo e cadeia de suprimentos;

• comportamentos agentivos e riscos de ecossistema (incluindo abuso de orquestração e coordenação entre agentes);

• governança organizacional. 

AI Security vs AI Safety: definições que ajudam a tomar decisão

A Cisco diferencia (e ao mesmo tempo conecta) dois conceitos:

AI security: disciplina de assegurar responsabilidade e proteger sistemas de IA contra uso não autorizado, ataques de disponibilidade e comprometimento de integridade ao longo do ciclo de vida. Cisco Blogs

AI safety: garantir que sistemas de IA se comportem de forma ética, confiável, justa, transparente e alinhada a valores humanos.

O ponto central é: security e safety são dimensões complementares do mesmo risco. Tratar juntas aumenta a chance de criar IA robusta e, ao mesmo tempo, confiável. 

Os 5 elementos de design que tornam o framework diferente

A Cisco constrói o framework a partir de cinco elementos que refletem o cenário atual (e o que vem pela frente). 

1) Integração entre ameaças técnicas e danos por conteúdo

O framework parte do princípio de que AI security e AI safety são inseparáveis. Um ataque técnico pode terminar em uma falha de safety, como vazamento de dados, conteúdo nocivo ou outputs indesejados.

[/vc_column_text][vc_row_inner][vc_column_inner][us_separator][vc_column_text]

• Torne-se um expert em Cyber Security com os treinamentos e certificações que Fast Lane oferece 

• Assine a newsletter da TechTalk e fique informado de tudo.

[/vc_column_text][us_separator][/vc_column_inner][/vc_row_inner][vc_column_text]

2) Consciência do ciclo de vida de IA

Risco muda conforme a fase: coleta e preparo de dados, treino, deploy, integração, uso de ferramentas e operação em runtime. Algo irrelevante no desenvolvimento pode virar crítico quando o modelo ganha ferramentas, memória ou interação com outros agentes. 

3) Coordenação e orquestração multiagente

O framework considera riscos quando sistemas colaboram: padrões de orquestração, protocolos de comunicação, memória compartilhada e tomada de decisão conjunta. Ele inclui ameaças que passam despercebidas em modelos criados para gerações anteriores de IA.

4) Multimodalidade como realidade (e como superfície de ataque)

A ameaça não chega só por texto. Pode vir por áudio, imagem, vídeo, código, sinais em sensores e outras entradas. Por isso, tratar esses vetores de modo consistente é essencial, especialmente em cenários como robótica, veículos autônomos, CX e monitoramento em tempo real. 

5) “Bússola” de segurança adaptada ao público

O framework serve para públicos diferentes. Executivos enxergam objetivos e impactos. Líderes de segurança enxergam técnicas. Times técnicos e red teams descem em sub-técnicas e procedimentos. Assim, todos compartilham o mesmo modelo mental e reduzem ruído na comunicação. 

Por dentro do framework: uma taxonomia unificada para ameaças de IA

Uma parte crítica do framework é a taxonomia estruturada em quatro camadas:

1. Objetivos (o “porquê” do ataque)

2. Técnicas (o “como”)

3. Subtécnicas (variações específicas do “como”)

4. Procedimentos (implementações no mundo real) 

Isso cria rastreabilidade: do risco executivo até o passo a passo técnico.

A Cisco cita que o framework identifica 19 objetivos de ataque, indo de jailbreaks e “goal hijacking” até violações de privacidade, escalonamento de privilégio, geração de conteúdo nocivo e manipulação ciberfísica. 

Além disso, há mais de 150 técnicas e subtécnicas, incluindo prompt injection (direta e indireta), jailbreaks, manipulação multiagente, corrupção de memória, adulteração de supply chain, evasão sensível ao ambiente e exploração de ferramentas, entre outras.

E o componente de safety também é amplo: o framework inclui 25 categorias de conteúdo danoso, cobrindo desde abuso em cibersegurança até comprometimento de propriedade intelectual e ataques à privacidade. 

E onde entram MCP, A2A e supply chain

Como agentes e integrações crescem, o framework incorpora taxonomias adicionais:

• MCP (Model Context Protocol): atualmente com 14 tipos de ameaça. 

• A2A: atualmente com 17 tipos de ameaça, ligada a riscos em comunicação entre agentes.

• Supply chain de IA: taxonomia com 22 ameaças distintas, reconhecendo que dependências, pesos de modelo e componentes podem introduzir backdoors e riscos difíceis de observar. 

A Cisco também destaca que o framework se integra ao Cisco AI Defense, conectando ameaças a indicadores e estratégias de mitigação. 

Como usar esse framework no mundo real

Se você quer transformar framework em execução, use esta lógica:

1. Alinhe linguagem com o board: comece pelos objetivos e impactos (risco, reputação, compliance).

2. Mapeie o ciclo de vida: identifique onde sua IA coleta dados, treina, integra ferramentas e roda em produção.

3. Escolha “top riscos” por objetivo: priorize 3–5 objetivos de ataque que mais ameaçam seu negócio hoje.

4. Traduza para técnicas: defina controles e detecções ligados às técnicas mais prováveis no seu contexto.

5. Inclua agentes e multimodalidade: se já existe agentic workflow, trate isso como superfície de ataque dedicada.

Assim, você evita listas genéricas e cria uma jornada que o time consegue sustentar.

[/vc_column_text][us_separator size=”small”][vc_column_text]Texto original de Cisco Blog – Introducing Cisco’s Integrated AI Security and Safety Framework escrito por Amy Changns.[/vc_column_text][/vc_column][/vc_row]