Provenance des données et formation - Gouvernance des données
Type: Learn
Languages: Python (stdlib, 12-field California AB 2013 scaffolding generator)
Prerequisites: Phase 18 · 24 (regulatory), Phase 18 · 26 (cards)
Time: ~60 minutes
Objectifs d'apprentissage
- Décrivez les 12 domaines mandatés de la CA 2013 pour la transparence des données en matière de formation en IA générative.
- Déclarer la position de l'APD en 2025 sur la formation en LLM à intérêt légitime (DPC irlandais, ICO du Royaume-Uni, Hambourg, Cologne).
- Décrivez le problème de l'irréversibilité: pourquoi le droit à l'effacement du RGPD n'a pas d'équivalent pratique pour les réseaux neuronaux formés.
- Déclarer la conclusion du "consentement en crise" de l'Initiative de prédisposition des données.
Le problème
La gouvernance des données de formation est la priorité de chaque carte modèle (leçon 26) et de l'obligation réglementaire (leçon 24). En 2024-2025, le paysage réglementaire s'est consolidé sur trois principes: l'infrastructure de refus de consentement, la divulgation par ensemble de données et les ajustements d'intérêts légitimes pour les données disponibles au public. Les fournisseurs qui ne se conforment pas au moment de la collecte ne peuvent pas remédier à la situation en aval.
Le concept
Californie AB 2013
Signé 2024. La documentation doit être affichée le 1er janvier 2026 ou avant celle-ci pour les systèmes publiés le 1er janvier 2022 ou après celui-ci.
- Sources ou propriétaires des ensembles de données.
- Description de la façon dont les ensembles de données poursuivent l'objectif prévu du système d'IA.
- Nombre de points de données dans les ensembles de données (variétés générales acceptables; estimations pour les ensembles de données dynamiques).
- Description des types de points de données (types d'étiquettes pour les ensembles de données étiquetés; caractéristiques générales pour les non étiquetés).
- Que les ensembles de données incluent des données protégées par le droit d'auteur, la marque ou le brevet, ou qu'elles soient entièrement du domaine public.
- Si les ensembles de données ont été achetés ou autorisés.
- Si les ensembles de données comprennent des informations personnelles (selon le code civil de la Cal. §1798.140 ((v)).
- Si les ensembles de données comprennent des informations globales sur les consommateurs (selon le code civil de la Cal. §1798.140 ((b)).
- Nettoyage, transformation ou autre modification par le développeur, à des fins prévues.
- La période de collecte des données, avec avis si la collecte est en cours.
- Date à laquelle les ensembles de données ont été utilisés pour la première fois pendant le développement.
- Si le système utilise ou utilise continuellement la génération de données synthétiques.
L'article 12 (données synthétiques) est nouveau par rapport aux fiches de données de Gebru et coll. 2018 . L'article 7 (informations personnelles) déclenche les obligations de la loi sur les droits de la vie privée (CPRA).
Loi sur l'IA de l'UE (leçon 24) et exclusion de la TDM
L'exception de la directive de l'UE sur le droit d'auteur pour l'extraction de texte et de données permet la formation sur des contenus accessibles au public à moins que le titulaire de droit ne s'y oppose.
Convergence de l'APD en 2025 sur un intérêt légitime
Le Conseil européen a adopté une décision de la Commission sur les mesures de protection des consommateurs pour les consommateurs adultes. La Cour régionale supérieure de Cologne (23 mai 2025) rejette l'injonction contre Meta: l'option de non-respect est suffisante. L'APD de Hambourg abandonne la procédure d'urgence pour une cohérence à l'échelle de l'UE. L'ICO britannique (23 septembre 2025) a publié une réponse réglementaire positive pas une autorisation officielle à la reprise de la formation en IA par LinkedIn avec des garanties similaires et une surveillance continue.
Principe de convergence: un intérêt légitime peut justifier la formation sur le contenu public de première partie avec exclusion.
Le BNAB brésilien (juin 2024)
Le traitement par Meta des données des utilisateurs brésiliens pour la formation en IA est suspendu en raison d'une transparence d'information insuffisante.
Le problème de l'irréversibilité
Le consentement à la cookie a été conçu pour le suivi en temps réel et réversible. Les données de formation sont différentes: une fois que les données entrent dans les poids du modèle, l'effacement chirurgical n'est pas possible.
Réparations partielles:
- Unlearning.Le taux de décomposition approximatif est mesuré par MIA (leçon 22).
- Influence function-based localization.Identifier les poids les plus influencés par les données; mettre à jour de manière sélective.
- Fine-tune-suppression.Former le modèle à refuser les sorties dérivées des données.
Aucun ne résout complètement le problème.
Initiative de prénom des données
le compte de données.org. Longpre, Mahari, Lee et al. "Consent in Crisis" (juillet 2024): audit à grande échelle des données communes de formation en IA. Résultats: les éditeurs ajoutent des restrictions robots.txt à un rythme accéléré. Les biens communs qui peuvent être formés ouverts se contractent rapidement. En 2023 et 2024, environ 25% des principales sources de formation ont ajouté une certaine restriction. Implication: la disponibilité future des données de formation dépend de nouveaux paradigmes d'acquisition (licence, génération synthétique, participation stimulée).
Là où cela s'inscrit dans la phase 18
La leçon 26 est la documentation au niveau du modèle. La leçon 27 est la gouvernance au niveau des ensembles de données. Ensemble, ils définissent la couche de transparence. La leçon 28 trace l'écosystème de recherche qui travaille sur ces questions.
Utilisez-le
code/main.pyVous pouvez remplir les champs et observer lesquels déclenchent des obligations de protection de la vie privée ou de suivi des droits d'auteur.
La faire partir
Cette leçon produit outputs/skill-provenance-check.md. Compte tenu d'un ensemble de données utilisé dans la formation, il vérifie la couverture des 12 domaines de l'AB 2013, la conformité des infrastructures à l'exclusion, l'alignement des ADP et l'évaluation des risques d'irréversibilité.
Exercices
- On court .
code/main.py- Produire un résumé de 12 champs pour un ensemble de données de jouets et identifier les champs sous-spécifiés.
- La directive européenne sur le droit d'auteur TDM est lisible par machine. Proposez un format standard pour le signal de refus et comparez-le à robots.txt et C2PA "No AI Training".
- Lisez le " Consentement en crise " de l'Initiative de provenance des données (juillet 2024). Décrivez les trois catégories de contenu les plus rapides et débattrez d'une conséquence économique.
- L'alignement 2025 des ADP accepte un intérêt légitime pour la formation en matière de contenu public.
- Définir un manifeste de provenance des données de formation qui comprend les champs AB 2013 et une chaîne de provenance signée C2PA pour chaque ensemble de données.
Les termes clés
| Term | What people say | What it actually means |
|---|---|---|
| AB 2013 | "the California law" | Generative AI training-data transparency; 12 mandated fields |
| TDM exception | "text-and-data-mining" | EU Copyright Directive training-data exception with opt-out |
| Legitimate interest | "the EU basis" | GDPR Article 6 basis that may justify training on public content |
| Opt-out signal | "machine-readable no-train" | robots.txt, C2PA "No AI Training," TDM.Reservation |
| Irreversibility | "cannot un-train" | Data in model weights is not surgically removable |
| Unlearning | "approximate removal" | Post-training interventions to reduce model dependence on specific data |
| Consent in Crisis | "the DPI audit" | July 2024 finding of accelerating robots.txt restrictions |
Pour en savoir plus
- California AB 2013 Loi sur la transparence des données en matière de formation générative en IA
- EU AI Act + GPAI Code of Practice (Lesson 24) Chapitre du droit d'auteur
- Longpre, Mahari, Lee et al. — Consent in Crisis (dataprovenance.org, July 2024) Audit de l'IPD
- IAPP — EU Digital Omnibus GDPR amendments (2025) contexte réglementaire
This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.
Browse the complete course catalog or open this lesson on GitHub.