nanochat: Карпати показал весь LLM-стек в одном репо

→ GitHub репозиторий nanochat (Andrej Karpathy)

Андрей Карпати (бывший директор ИИ в Tesla, сооснователь OpenAI) выпустил nanochat — курсовой проект для LLM101n с заметным интересом на GitHub. Цель: уместить полный стек обучения языковой модели в одном минималистичном читаемом репозитории.

Что входит в nanochat

• Токенизатор (BPE)
• Предобучение (pretraining)
• Fine-tuning (SFT + RLHF)
• Оценка (evaluation benchmarks)
• Инференс + веб-интерфейс чата

Почему это важно

Обучение GPT-2-уровня раньше требовало существенных затрат. Сегодня современные GPU-кластеры сделали такие эксперименты значительно доступнее и быстрее. nanochat фиксирует этот момент: теперь любой разработчик может понять, что происходит «под капотом» LLM, и обучить собственную модель.

Speedrun-сообщество

Вокруг nanochat выросло соревнование «time to GPT-2» — кто быстрее обучит модель уровня GPT-2. Это превратилось в спортивную дисциплину среди ML-инженеров.

Для кого полезен

• Студентам ML: лучший способ понять, как работают трансформеры изнутри
• Разработчикам продуктов: понимание стека помогает лучше проектировать промпты
• Исследователям: быстрая точка старта для экспериментов

Нужна готовая модель? Используйте API

Если нужен результат, а не обучение — GPT-5.6 и Claude Opus 4.8 доступны сразу через PlusVibe API без GPU.

Топовые LLM без обучения — через PlusVibe

GPT-5.6, Claude, Gemini — рублёвые цены, без VPN, за минуту.