Deep Learning · Python · NLP

Transformer-Sprachmodell von Grund auf

Architekturdiagramm des Modells: Token-Embedding, Transformer-Blöcke, Softmax

Zeitraum: 2026
Technik: [Python]
[PyTorch]
[Transformer]
[RoPE]
[NLP]
Code: Privates Repository

Implementierung eines GPT-artigen Sprachmodells komplett from scratch nach Stanford CS336: BPE-Tokenizer, Multi-Head-Self-Attention mit RoPE, Transformer-Blöcke, AdamW-Optimizer und Trainings-Loop.

Weiteres Projekt

KI-Vorauswahl von BewerbungenProjekt ansehen