Phase 00: Setup & Tooling

المحطة وشركة شل

Type: Learn

Languages: --

Prerequisites: Phase 0, Lesson 01

Time: ~35 minutes

أهداف التعلم

• استخدم الأنابيب، إعادة التوجيه، و grepللفيلتر ومعالجة سجلات التدريب من خط الأوامر
• إعداد جلسات tmux مستمرة مع لوحات متعددة للتدريب المتزامن ومراقبة GPU
• مراقبة نظام وموارد الجيبو مع htop،nvtopوnvidia-smi
• نقل الملفات بين الآلات المحلية والبعيدة باستخدام SSH، scpوrsync

المشكلة

سوف تقضي وقتًا أكبر في المحطة أكثر من أي محرر. تدريبات التدريب، مراقبة GPU، تتابع السجلات، جلسات SSH عن بعد، إدارة البيئة. كل تدفق عمل من الذكاء الاصطناعي يلمس القذيفة. إذا كنت بطيئًا هنا، فأنت بطيئ في كل مكان.

هذه الدروس تغطي المهارات النهائية التي تهم العمل الذكاء الاصطناعي لا تاريخ من يونيكس لا غوص عميقة في نص الباش فقط ما تحتاجه

المفهوم

graph TD
    subgraph tmux["tmux session: training"]
        subgraph top["Top row"]
            P1["Pane 1: Training run<br/>python train.py<br/>Epoch 12/100 ..."]
            P2["Pane 2: GPU monitor<br/>watch -n1 nvidia-smi<br/>GPU: 78% | Mem: 14/24G"]
        end
        P3["Pane 3: Logs + experiments<br/>tail -f logs/train.log | grep loss"]
    end

ثلاثة أشياء تعمل في وقت واحد، محطة واحدة يمكنك أن تخرج، تذهب إلى المنزل، تعود إلى SSH، وتعيد التصل، التدريب يستمر.

بناءها

الخطوة الأولى: تعرف قذفك

تحقق من القذيفة التي تعمل عليها:

bashCopyecho $SHELL

معظم الأنظمة تستخدمbashأوzshكلتا العمليات تعمل بشكل جيد، والإرشادات في هذه الدورة تعمل في كلتا

أشياء رئيسية يجب أن تعرفها:

bashCopy# Move around
cd ~/projects/ai-engineering-from-scratch
pwd
ls -la

# History search (most useful shortcut you'll learn)
# Ctrl+R then type part of a previous command
# Press Ctrl+R again to cycle through matches

# Clear terminal
clear   # or Ctrl+L

# Cancel a running command
# Ctrl+C

# Suspend a running command (resume with fg)
# Ctrl+Z

الخطوة الثانية: التشغيل والإعادة توجيه

التشغيل يربط الأوامر معًا. هكذا تقوم بمعالجة السجلات، ومخرجات المرشحات، وأدوات السلسلة. ستستخدم هذا باستمرار.

bashCopy# Count how many times "loss" appears in a log
cat train.log | grep "loss" | wc -l

# Extract just the loss values from training output
grep "loss:" train.log | awk '{print $NF}' > losses.txt

# Watch a log file update in real time, filtering for errors
tail -f train.log | grep --line-buffered "ERROR"

# Sort experiments by final accuracy
grep "final_accuracy" results/*.log | sort -t= -k2 -n -r

# Redirect stdout and stderr to separate files
python train.py > output.log 2> errors.log

# Redirect both to the same file
python train.py > train_full.log 2>&1

ثلاثة إعادة توجيهات تحتاجها:

الخطوة الثالثة: عمليات الخلفية

تدريبات تستغرق ساعات لا تريد أن تبقي محطة الطاقة مفتوحة طوال الوقت

bashCopy# Run in background (output still goes to terminal)
python train.py &

# Run in background, immune to hangup (closing terminal won't kill it)
nohup python train.py > train.log 2>&1 &

# Check what's running in background
jobs
ps aux | grep train.py

# Bring a background job to foreground
fg %1

# Kill a background process
kill %1
# or find its PID and kill that
kill $(pgrep -f "train.py")

الفرق بين&،nohupوscreen-أجلtmux:

لأي شيء أطول من بضع دقائق، استخدم "tmux".

الخطوة الرابعة:

تسمح لك tmux بإنشاء جلسات محطة مستمرة مع أجهزة متعددة. هذه هي الأداة الوحيدة الأكثر فائدة لإدارة عمليات التدريب.

bashCopy# Install
# macOS
brew install tmux
# Ubuntu
sudo apt install tmux

# Start a named session
tmux new -s training

# Split horizontally
# Ctrl+B then "

# Split vertically
# Ctrl+B then %

# Navigate between panes
# Ctrl+B then arrow keys

# Detach (session keeps running)
# Ctrl+B then d

# Reattach
tmux attach -t training

# List sessions
tmux ls

# Kill a session
tmux kill-session -t training

جلسة عمل نموذجية لـ AI:

bashCopytmux new -s train

# Pane 1: start training
python train.py --epochs 100 --lr 1e-4

# Ctrl+B, " to split, then run GPU monitor
watch -n1 nvidia-smi

# Ctrl+B, % to split vertically, tail the logs
tail -f logs/experiment.log

# Now detach with Ctrl+B, d
# SSH out, go get coffee, come back
# tmux attach -t train

الخطوة 5: مراقبة مع htop و nvtop

bashCopy# System processes (better than top)
htop

# GPU processes (if you have NVIDIA GPU)
# Install: sudo apt install nvtop (Ubuntu) or brew install nvtop (macOS)
nvtop

# Quick GPU check without nvtop
nvidia-smi

# Watch GPU usage update every second
watch -n1 nvidia-smi

# See which processes are using the GPU
nvidia-smi --query-compute-apps=pid,name,used_memory --format=csv

htopالوصفات التي ستستخدمها:

• F6أو>للتنظيم حسب العمود (التنظيم حسب الذاكرة للعثور على تسرب الذاكرة)
• F5لتحويل طريقة عرض الأشجار (انظر عمليات الأطفال)
• F9لقتل عملية
• /للبحث عن اسم العملية

الخطوة 6: SSH لربط GPU عن بعد

عندما تستأجر GPU السحابية (Lambda، RunPod، Vast.ai) ، يمكنك الاتصال عبر SSH.

bashCopy# Basic connection
ssh user@gpu-box-ip

# With a specific key
ssh -i ~/.ssh/my_gpu_key user@gpu-box-ip

# Copy files to remote
scp model.pt user@gpu-box-ip:~/models/

# Copy files from remote
scp user@gpu-box-ip:~/results/metrics.json ./

# Sync a whole directory (faster for many files)
rsync -avz ./data/ user@gpu-box-ip:~/data/

# Port forward (access remote Jupyter/TensorBoard locally)
ssh -L 8888:localhost:8888 user@gpu-box-ip
# Now open localhost:8888 in your browser

# SSH config for convenience
# Add to ~/.ssh/config:
# Host gpu
#     HostName 192.168.1.100
#     User ubuntu
#     IdentityFile ~/.ssh/gpu_key
#
# Then just:
# ssh gpu

الخطوة 7: أسماء مستعار مفيدة للعمل الذكاء الاصطناعي

إضافة هذه إلى الخاص بك~/.bashrcأو~/.zshrc:

bashCopysource phases/00-setup-and-tooling/10-terminal-and-shell/code/shell_aliases.sh

أو نسخ ما تريد من الاسم الاسمية الرئيسية

bashCopy# GPU status at a glance
alias gpu='nvidia-smi --query-gpu=index,name,utilization.gpu,memory.used,memory.total,temperature.gpu --format=csv,noheader'

# Kill all Python training processes
alias killtraining='pkill -f "python.*train"'

# Quick virtual environment activate
alias ae='source .venv/bin/activate'

# Watch training loss
alias watchloss='tail -f logs/*.log | grep --line-buffered "loss"'

انظرcode/shell_aliases.shللفيلم الكامل

الخطوة 8: أنماط نهاية الذكاء الاصطناعي الشائعة

هذه النقاط تأتي مراراً وتكراراً في الممارسة العملية:

bashCopy# Run training, log everything, notify when done
python train.py 2>&1 | tee train.log; echo "DONE" | mail -s "Training complete" you@email.com

# Compare two experiment logs side by side
diff <(grep "accuracy" exp1.log) <(grep "accuracy" exp2.log)

# Find the largest model files (clean up disk space)
find . -name "*.pt" -o -name "*.safetensors" | xargs du -h | sort -rh | head -20

# Download a model from Hugging Face
wget https://huggingface.co/model/resolve/main/model.safetensors

# Untar a dataset
tar xzf dataset.tar.gz -C ./data/

# Count lines in all Python files (see how big your project is)
find . -name "*.py" | xargs wc -l | tail -1

# Check disk space (training data fills disks fast)
df -h
du -sh ./data/*

# Environment variable check before training
env | grep -i cuda
env | grep -i torch

استخدمها

هنا عندما تأتي كل أداة إلى اللعب خلال هذه الدورة:

التمارين

1. قم بتثبيت tmux، وإنشاء جلسة مع ثلاث لوحات، وإجراء htopفي واحدwatch -n1 dateفي آخر، وخطوط بيثون في الثالث. إزالة وإعادة ربط.
2. إضافة الاسم التلقائي من code/shell_aliases.shإلى قذارتك إعداد وإعادة التحميل مع source ~/.zshrc(أو ~/.bashrc)
3. إعداد سجل تدريب مزيف مع for i in $(seq 1 100); do echo "epoch $i loss: $(echo "scale=4; 1/$i" | bc)"; sleep 0.1; done > fake_train.logثم استخدمgrep،tailوawkلاستخراج سوى قيم الخسارة
4. قم بتعيين إدخال إعداد SSH لخادم لديك الوصول إليه (أو استخدامه localhostلممارسة النص).

الشروط الرئيسية

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.