منبع داده ها و آموزش - مدیریت داده ها
Type: Learn
Languages: Python (stdlib, 12-field California AB 2013 scaffolding generator)
Prerequisites: Phase 18 · 24 (regulatory), Phase 18 · 26 (cards)
Time: ~60 minutes
اهداف یادگیری
- 12 زمینه واجب شده ای را برای شفافیت داده های آموزش هوش مصنوعی تولید کننده در سال 2013 California AB توصیف کنید.
- موضع DPA در مورد آموزش LLM با منافع مشروع در سال 2025 را بیان کنید (DPC ایرلند، ICO انگلستان، هامبورگ، کولون).
- مشکل برگشت ناپذیر را شرح دهید: چرا حق حذف GDPR هیچ معادل عملی برای شبکه های عصبی آموزش دیده ندارد.
- یافته "حصول رضایت در بحران" ابتکارات مربوط به داده ها را بیان کنید.
مشکل
مدیریت اطلاعات آموزشی در جریان هر کارت مدل (درسی 26) و تعهدات نظارتی (درسی 24) است. در سال های 2024 تا 2025، منظره نظارتی بر سه اصل: زیرساخت های اختیاری، افشا کردن هر مجموعه داده و سازگاری منافع مشروع برای داده های عمومی است. ارائه دهندگان که در زمان جمع آوری آنها را رعایت نمی کنند نمی توانند به عقب راه اندازی کنند.
مفهوم
کالیفرنیا AB 2013
دستخط سال 2024 . سند باید در تاریخ یا قبل از 1 ژانویه 2026 برای سیستم هایی که در تاریخ یا بعد از 1 ژانویه 2022 منتشر می شوند ، ارسال شود. بخش 3111 ((الف) از توسعه دهندگان می خواهد خلاصه ای در سطح بالا از مجموعه داده های مورد استفاده در آموزش با 12 قطعه قانونی منتشر کنند:
- منابع یا صاحبان مجموعه داده ها
- توصیف چگونگی انجام مجموعه داده ها به هدف هدف هدفمند سیستم هوش مصنوعی.
- تعداد نقاط داده در مجموعه داده ها (مجموعه های عمومی قابل قبول؛ تخمین برای مجموعه داده های پویا).
- توصیف انواع نقاط داده (تایپ برچسب برای مجموعه داده های برچسب گذاری شده؛ ویژگی های کلی برای نامگذاری نشده)
- این که آیا مجموعه داده ها شامل هر گونه داده ای است که توسط حق اشاعت، علامت تجاری یا ثبت اختراع محافظت می شود یا کاملا در حوزه عمومی است.
- این که آیا مجموعه داده ها خریداری شده یا مجوز داده شده است.
- این که آیا مجموعه داده ها شامل اطلاعات شخصی هستند (به گفته قانون مدنی کالیفرنیا §1798.140 ((v)).
- آیا مجموعه داده ها شامل اطلاعات کلی مصرف کننده هستند (به گفته قانون مدنی کال 1798.140 ((ب)).
- تمیز کردن، پردازش یا دیگر تغییر توسط توسعه دهنده، با هدف هدف.
- دوره زمانی که در طول آن داده ها جمع آوری شده اند، با اطلاعیه اگر جمع آوری در حال انجام است.
- تاریخ هایی که اولین بار در طول توسعه مجموعه داده ها استفاده شد.
- این که آیا سیستم از تولید داده های مصنوعی استفاده می کند یا به طور مداوم استفاده می کند.
ماده 12 (داده های مصنوعی) نسبت به ورق داده های Gebru et al. 2018 جدید است. ماده 7 (معلومات شخصی) تعهدات قانون حقوق حریم خصوصی (CPRA) را تحریک می کند. قانون ایمنی / یکپارچگی، عملیات هواپیما و سیستم های امنیتی ملی فقط فدرال را معاف می کند (قسم 3111 ((ب)).
قانون هوش مصنوعی اتحادیه اروپا (درسی 24) و عدم پذیرش TDM
استثنای قانون حقوق چاپی اتحادیه اروپا در مورد استخراج متن و داده ها اجازه می دهد تا آموزش در مورد محتوای در دسترس عموم را به صورت غیر از اختیار صاحب حقوق انجام دهد.
2025 همگامگی DPA بر اساس منافع مشروع
DPC ایرلند (21 مه 2025): برنامه Meta برای آموزش در مورد محتوای عمومی اول طرف بزرگسالان کاربران اتحادیه اروپا / EEA پس از نظر نظر EDPB با تضمین پذیرفته شده است. دادگاه منطقه ای عالی کولن (23 مه 2025) حکم حکم حریم علیه Meta را رد می کند: عدم پذیرش کافی است. هیمبرگ DPA روند اضطراری برای پیوستگی در سراسر اتحادیه اروپا را حذف می کند. ICO انگلستان (23 سپتامبر 2025) پاسخ مثبت قانونی را صادر کرد نه مجوز رسمی به ادامه آموزش هوش مصنوعی لینکدین با تضمین های مشابه و نظارت مداوم.
اصل متقابل: منافع مشروع می تواند آموزش در مورد محتوای در دسترس عموم با عدم پذیرش را توجیه کند. رضایت لازم نیست.
ANPD برزیل (جون 2024)
معطل کردن پردازش داده های کاربر برازیل توسط متا برای آموزش هوش مصنوعی به دلیل شفافیت اطلاعات ناکافی. نتیجه متفاوت از DPAs اتحادیه اروپا ANPD شفافیت را بر پذیرش منافع مشروع اولویت بندی کرد.
مشکل برگشت ناپذیر
رضایت کوکی برای ردیابی قابل برگشت در زمان واقعی طراحی شده است. داده های آموزش متفاوت است: هنگامی که داده ها وارد وزن مدل می شوند، حذف جراحی ممکن نیست. آموزش مجدد از ابتدا تنها درمان کامل است و بسیار گران است.
اصلاحات جزئی:
- Unlearning.حذف نزدیک؛ با MIA اندازه گیری شده (درسی 22).
- Influence function-based localization.وزن هایی را که بیشترین تأثیر را از داده ها دارند شناسایی کنید؛ به طور انتخابی به روز کنید.
- Fine-tune-suppression.مدل را آموزش دهید تا از داده ها حاصل شده را رد کند.
هيچکدوم از اين مشکل رو به طور کامل حل نميکنن
ابتکار مربوط به منابع داده
داتاپروڤینانس.org لونگپری، ماهاری، لی و دیگران "حاجت در بحران" (یولای 2024): حسابرسی در مقیاس بزرگ از داده های مشترک آموزش هوش مصنوعی. پیدا کردن: ناشران به سرعت محدودیت های robots.txt را اضافه می کنند. مشترکه که به طور آشکار قابل آموزش است به سرعت در حال انقباض است. سال 2023 تا 2024 حدود 25 درصد از منابع آموزش بالا محدودیت هایی را اضافه کردند. پیامد: در دسترس بودن آینده اطلاعات آموزشی بستگی به پارادایم های جدید کسب و کار (لنسیز، تولید مصنوعی، مشارکت تشویق) دارد.
جایی که این در مرحله 18 قرار داره
درس 26 مستند سازی سطح مدل است. درس 27 مدیریت سطح مجموعه داده است. آنها با هم لایه شفافیت را تعریف می کنند. درس 28 اکوسیستم تحقیقاتی را که بر روی این سوالات کار می کند نقشه می کشد.
ازش استفاده کن
code/main.pyشما می توانید زمینه ها را پر کنید و مشاهده کنید که کدام یک از آنها باعث ایجاد تعهدات حفظ حریم خصوصی یا پیگیری حقوق چاپی می شوند.
-باده
این درس به ما کمک می کندoutputs/skill-provenance-check.md. با توجه به مجموعه داده هایی که در آموزش استفاده می شود، این مجموعه برای پوشش AB 2013 12 زمینه، رعایت زیرساخت های اختیاری، هماهنگی DPA و ارزیابی ریسک برگشت پذیری بررسی می کند.
تمرینات
- فرار کن
code/main.pyخلاصه ی ۱۲ میدان برای مجموعه داده های اسباب بازی را تهیه کنید و مشخص کنید که کدام میدان ها کم مشخص شده اند.
- دستورالعمل حق اشغالگر اتحادیه اروپا TDM را می توان به صورت ماشین خوانده. یک فرمت استاندارد برای سیگنال خروج را پیشنهاد کنید و آن را با robots.txt و C2PA "هیچ آموزش هوش مصنوعی" مقایسه کنید.
- " رضایت در بحران " ابتکارات داده های موجود (موسوم ژوئیه 2024) را بخوانید. سه دسته از محتویات سریع ترین محدودیت را توصیف کنید و یک پیامد اقتصادی را استدلال کنید.
- تعادل DPA 2025 علاقه مشروع را برای آموزش محتواهای عمومی پذیرفته است. یک سناریو بسازید که در آن علاقه مشروع کافی نباشد و پایه قانونی که ارائه دهنده به جای آن نیاز دارد را مشخص کنید.
- یک مانیفستر آموزش-داده-مدد که شامل زمینه های AB 2013 و یک زنجیره اصلی امضا شده با C2PA برای هر مجموعه داده است، را رسم کنید. یک مانع فنی و یک مانع قانونی را شناسایی کنید.
اصطلاحات کلیدی
| Term | What people say | What it actually means |
|---|---|---|
| AB 2013 | "the California law" | Generative AI training-data transparency; 12 mandated fields |
| TDM exception | "text-and-data-mining" | EU Copyright Directive training-data exception with opt-out |
| Legitimate interest | "the EU basis" | GDPR Article 6 basis that may justify training on public content |
| Opt-out signal | "machine-readable no-train" | robots.txt, C2PA "No AI Training," TDM.Reservation |
| Irreversibility | "cannot un-train" | Data in model weights is not surgically removable |
| Unlearning | "approximate removal" | Post-training interventions to reduce model dependence on specific data |
| Consent in Crisis | "the DPI audit" | July 2024 finding of accelerating robots.txt restrictions |
خواندن بیشتر
- California AB 2013 قانون شفافیت داده ها - آموزش هوش مصنوعی
- EU AI Act + GPAI Code of Practice (Lesson 24) فصل حقوق چاپ
- Longpre, Mahari, Lee et al. — Consent in Crisis (dataprovenance.org, July 2024) حسابرسی DPI
- IAPP — EU Digital Omnibus GDPR amendments (2025) زمینه های نظارتی
This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.
Browse the complete course catalog or open this lesson on GitHub.