90 % d’économies avec 5 lignes de code!

L'IA dans SecDevOps: pourquoi les "hacks de coûts" ne sont pas toute l'histoire

Je lisais un article de towardsdatascience.com. Et il m'est venu à l'esprit que la plupart d'entre nous seraient tentés de se lancer dans cette situation à l'aveuglette. Voici mon point de vue, sur ce qui en est.

"Comment nous avons réduit les coûts de LLM de 90% avec 5 lignes de code". À première vue, ce genre d'histoire est captivant: cinq lignes de code, 90% d'économies, comment ne pas adorer?

Mais lorsque nous regardons les choses à travers le prisme de SecDevOps, le récit devient plus complexe. Le coût n'est pas la seule variable qui compte dans une pratique sûre, résiliente et fiable.

*L'image est générée par l'IA

La tentation des solutions rapides

L'article décrit comment les développeurs ont utilisé la troncage de "réponse" avec leurs modèles de langage à grande échelle (LLM) pour réduire l'utilisation des jetons et réduire les coûts. Cela fonctionne bien dans les expériences à portée étroite ou les POC (preuves de concept). Mais dans les environnements SecDevOps: où les systèmes de production gèrent des flux de travail critiques pour la sécurité : les gains rapides s'accompagnent souvent de risques cachés :

• Angles morts opérationnels: Tronquer les réponses du modèle peut réduire les coûts, mais cela risque également de supprimer le contexte, les journaux ou les alertes de sécurité essentiels.
• Les LLM dans les pipelines d'opérations de sécurité peuvent gérer la télémétrie sensible. Toute stratégie d'optimisation doit être validée par rapport à la confidentialité des données et à la conformité réglementaire.
• Que se passe-t-il si une optimisation interrompt silencieusement un flux de travail de réponse aux incidents à 2 h du matin?

En bref: épargner 90% aujourd'hui ne signifie pas grand-chose si vous compromettez 99% de la confiance du système demain.

La perspective de SecDevOps

Lorsque nous introduisons des outils d'IA dans nos pipelines, que ce soit pour le triage des journaux, l'analyse de code ou l'aide à la décision en matière de sécurité, nous devons appliquer la même rigueur que nous apportons à toute autre technologie. 

Quelques principes directeurs :

• Des mesures holistiques, pas seulement des coûts.
  Mesurez non seulement les économies d'argent, mais aussi l'exactitude de la réponse, la couverture de détection, le respect de la conformité et le temps de récupération des incidents.

• Dépendances de l'IA de modélisation des menaces
  Chaque "optimisation" devient une nouvelle surface d'attaque. Par exemple: un attaquant pourrait-il exploiter la troncature de sortie pour cacher une activité malveillante dans les journaux?

• Déploiement contrôlé
  Les techniques d'économie de coûts doivent d'abord être déployées dans des environnements non liés à la production (Dev > QA > Acceptance) avant d'atteindre la production: le même chemin discipliné que nous utilisons pour toute migration d'infrastructure en tant que code ou de base de données.

• Vérifiabilité par défaut
  Nous ne nous contentons pas d'optimiser; nous documentons. Chaque changement dans la façon dont l'IA est utilisée dans les pipelines doit être vérifiable, versionné et sujet à annulation.

Application pratique dans les pipelines

Chez JPSoftworks, voici comment nous intégrerions une telle technique en toute sécurité dans un pipeline de sécurité CI/CD :

1. Isoler les composants d'IA dans les services dockerisés 
    Assurez-vous que les demandes et les réponses de LLM sont transmises par un conteneur de services avec des limites, une journalisation et une surveillance appliquées.

2. Contrôle centralisé des politiques
   Utilisez IaC (Bicep, Terraform) pour définir des politiques autour de l'interaction LLM: ycompris la troncature maximale des jetons et les catégories de données autorisées.

3. Couche de vérification
   Introduire des étapes de validation (p. ex., somme de contrôle, vérifications d'exhaustivité basées sur les regex) avant que les systèmes en aval ne consomment la sortie du modèle tronqué.

Conclusion: Au-delà des 5 lignes de code

Les articles promettant des "économies de 90%" attirent l'attention: et ils devraient. Les coûts sont importants. Mais dans SecDevOps, le coût ne peut jamais être le seul axe d'optimisation. La sécurité, la fiabilité et la vérifiabilité doivent être de pair avec l'efficacité.

Chez JPSoftworks, nous croyons qu'il est important de permettre aux organisations d'adopter l'innovation sans compromettre la confiance. Les gains rapides sont les bienvenus, mais seulement lorsqu'ils sont bien intégrés dans les systèmes sécurisés et résilients qui assurent le fonctionnement des entreprises.

Liens (Anglais):
How We Reduced LLM Costs by 90% with 5 Lines of Code | Towards Data Science