Phase 00: Setup & Tooling

Terminal & Shell

Type: Learn

Languages: --

Prerequisites: Phase 0, Lesson 01

Time: ~35 minutes

Öğrenme Hedefleri

• - Çöp kullan, yönlendirmeler yap.grepEğitim günlüğünü komut satırından filtrelemek ve işlemek
• Aynı anda eğitim ve GPU izleme için birden fazla panel ile sürekli tmux seansları oluşturun
• ile sistem ve GPU kaynaklarını izlemekhtop- Evet .nvtopvenvidia-smi
• SSH kullanarak yerel ve uzaktan makineler arasında dosya aktarımı, scpversync

Sorun

Bu yüzden, bu programın en iyi yönlendirmesi, bu programın en iyi yönlendirmesi, bu programın en iyi yönlendirmesi, bu programın en iyi yönlendirmesi, bu programın en iyi yönlendirmesi, bu programın en iyi yönlendirmesi, bu programın en iyi yönlendirmesi, bu programın en iyi yönlendirmesi ve bu programın en iyi yönlendirmesi.

Bu ders, Yapay zeka için önemli olan terminal becerileri kapsar.

Anlaşım

graph TD
    subgraph tmux["tmux session: training"]
        subgraph top["Top row"]
            P1["Pane 1: Training run<br/>python train.py<br/>Epoch 12/100 ..."]
            P2["Pane 2: GPU monitor<br/>watch -n1 nvidia-smi<br/>GPU: 78% | Mem: 14/24G"]
        end
        P3["Pane 3: Logs + experiments<br/>tail -f logs/train.log | grep loss"]
    end

Üç şey aynı anda çalışıyor, bir terminal, ayrılıp eve gidebilirsin, SSH'yi geri alabilirsin ve tekrar bağlayabilirsin.

Yapın

Adım 1: Kabuklarınızu Bilin

Hangi mermiyi kullanıyorsan kontrol et.

bashCopyecho $SHELL

Çoğu sistem kullanıyor bashveya zshHer ikisi de iyi çalışıyor. Bu kursta komutlar her ikisinde de çalışıyor.

Bilmeniz gereken önemli şeyler:

bashCopy# Move around
cd ~/projects/ai-engineering-from-scratch
pwd
ls -la

# History search (most useful shortcut you'll learn)
# Ctrl+R then type part of a previous command
# Press Ctrl+R again to cycle through matches

# Clear terminal
clear   # or Ctrl+L

# Cancel a running command
# Ctrl+C

# Suspend a running command (resume with fg)
# Ctrl+Z

Adım 2: Borular ve yönlendirmeler

Bu şekilde kayıtları, filtre çıkışını ve zincir araçlarını işleyeceksiniz.

bashCopy# Count how many times "loss" appears in a log
cat train.log | grep "loss" | wc -l

# Extract just the loss values from training output
grep "loss:" train.log | awk '{print $NF}' > losses.txt

# Watch a log file update in real time, filtering for errors
tail -f train.log | grep --line-buffered "ERROR"

# Sort experiments by final accuracy
grep "final_accuracy" results/*.log | sort -t= -k2 -n -r

# Redirect stdout and stderr to separate files
python train.py > output.log 2> errors.log

# Redirect both to the same file
python train.py > train_full.log 2>&1

İhtiyacınız olan üç yönlendirme:

Adım 3: Arka plan süreçleri

Eğitim saatlerce sürer, terminalini her zaman açık tutmak istemezsin.

bashCopy# Run in background (output still goes to terminal)
python train.py &

# Run in background, immune to hangup (closing terminal won't kill it)
nohup python train.py > train.log 2>&1 &

# Check what's running in background
jobs
ps aux | grep train.py

# Bring a background job to foreground
fg %1

# Kill a background process
kill %1
# or find its PID and kill that
kill $(pgrep -f "train.py")

&- Evet .nohupvescreen- Ne ?tmux- ...

Birkaç dakikadan uzun süre, tmux kullanın.

4. adım: tmux

tmux, birden fazla panel ile sürekli terminal seansları oluşturmanıza olanak tanır.

bashCopy# Install
# macOS
brew install tmux
# Ubuntu
sudo apt install tmux

# Start a named session
tmux new -s training

# Split horizontally
# Ctrl+B then "

# Split vertically
# Ctrl+B then %

# Navigate between panes
# Ctrl+B then arrow keys

# Detach (session keeps running)
# Ctrl+B then d

# Reattach
tmux attach -t training

# List sessions
tmux ls

# Kill a session
tmux kill-session -t training

Tipik bir AI iş akışı oturum:

bashCopytmux new -s train

# Pane 1: start training
python train.py --epochs 100 --lr 1e-4

# Ctrl+B, " to split, then run GPU monitor
watch -n1 nvidia-smi

# Ctrl+B, % to split vertically, tail the logs
tail -f logs/experiment.log

# Now detach with Ctrl+B, d
# SSH out, go get coffee, come back
# tmux attach -t train

Adım 5: Htop ve nvtop ile izleme

bashCopy# System processes (better than top)
htop

# GPU processes (if you have NVIDIA GPU)
# Install: sudo apt install nvtop (Ubuntu) or brew install nvtop (macOS)
nvtop

# Quick GPU check without nvtop
nvidia-smi

# Watch GPU usage update every second
watch -n1 nvidia-smi

# See which processes are using the GPU
nvidia-smi --query-compute-apps=pid,name,used_memory --format=csv

htopKullandığınız anahtar bağlamalar:

• F6veya >sütunlara göre sıralamak (hüye kayıplarını bulmak için hafıza kayıplarına göre sıralamak)
• F5ağaç görünümünü değiştirmek için (bkz. çocuk süreçleri)
• F9Bir süreci öldürmek için
• /Bir işlem adı aramak için

Adım 6: Uzak GPU kutuları için SSH

Bulut GPU'sunu kiraladığınızda (Lambda, RunPod, Vast.ai), SSH üzerinden bağlantı kurarsınız.

bashCopy# Basic connection
ssh user@gpu-box-ip

# With a specific key
ssh -i ~/.ssh/my_gpu_key user@gpu-box-ip

# Copy files to remote
scp model.pt user@gpu-box-ip:~/models/

# Copy files from remote
scp user@gpu-box-ip:~/results/metrics.json ./

# Sync a whole directory (faster for many files)
rsync -avz ./data/ user@gpu-box-ip:~/data/

# Port forward (access remote Jupyter/TensorBoard locally)
ssh -L 8888:localhost:8888 user@gpu-box-ip
# Now open localhost:8888 in your browser

# SSH config for convenience
# Add to ~/.ssh/config:
# Host gpu
#     HostName 192.168.1.100
#     User ubuntu
#     IdentityFile ~/.ssh/gpu_key
#
# Then just:
# ssh gpu

Adım 7: AI çalışması için yararlı isimler

Bunları ekle .~/.bashrcveya ~/.zshrc- ...

bashCopysource phases/00-setup-and-tooling/10-terminal-and-shell/code/shell_aliases.sh

Ya da istediğinizleri kopyalayın.

bashCopy# GPU status at a glance
alias gpu='nvidia-smi --query-gpu=index,name,utilization.gpu,memory.used,memory.total,temperature.gpu --format=csv,noheader'

# Kill all Python training processes
alias killtraining='pkill -f "python.*train"'

# Quick virtual environment activate
alias ae='source .venv/bin/activate'

# Watch training loss
alias watchloss='tail -f logs/*.log | grep --line-buffered "loss"'

Bakın .code/shell_aliases.shTam set için.

Adım 8: Genel AI terminal modelleri

Bunlar pratikte tekrar tekrar ortaya çıkıyor:

bashCopy# Run training, log everything, notify when done
python train.py 2>&1 | tee train.log; echo "DONE" | mail -s "Training complete" you@email.com

# Compare two experiment logs side by side
diff <(grep "accuracy" exp1.log) <(grep "accuracy" exp2.log)

# Find the largest model files (clean up disk space)
find . -name "*.pt" -o -name "*.safetensors" | xargs du -h | sort -rh | head -20

# Download a model from Hugging Face
wget https://huggingface.co/model/resolve/main/model.safetensors

# Untar a dataset
tar xzf dataset.tar.gz -C ./data/

# Count lines in all Python files (see how big your project is)
find . -name "*.py" | xargs wc -l | tail -1

# Check disk space (training data fills disks fast)
df -h
du -sh ./data/*

# Environment variable check before training
env | grep -i cuda
env | grep -i torch

Kullan

İşte bu ders sırasında her aletin oyununa girdiği zaman:

Egzersizler

1. tmux kur, üç panel ile bir seans oluştur ve çalıştır htopBir tane.watch -n1 dateBir diğerinde Python metni, üçüncüde ise.
2. code/shell_aliases.sh- Şalınla yeniden yüklen .source ~/.zshrc(veya ~/.bashrc)
3. Yalanca bir eğitim günlüğü oluşturun for i in $(seq 1 100); do echo "epoch $i loss: $(echo "scale=4; 1/$i" | bc)"; sleep 0.1; done > fake_train.logve sonra kullan grep- Evet .tailveawkSadece kayb değerlerini çıkarmak için.
4. Kullanmakta olduğunuz (veya kullandığınız) bir sunucu için SSH yapılandırma girişini ayarlayın localhostSözcükleri uygulamak için).

Anahtar Terimler

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.