nanochat: Карпати показал весь LLM-стек в одном репо

Андрей Карпати (бывший директор ИИ в Tesla, сооснователь OpenAI) выпустил nanochat — проект с 55k+ звёзд на GitHub. Цель: уместить полный стек обучения языковой модели в одном минималистичном читаемом репозитории.

Что входит в nanochat

• Токенизатор (BPE)
• Предобучение (pretraining)
• Fine-tuning (SFT + RLHF)
• Оценка (evaluation benchmarks)
• Инференс + веб-интерфейс чата

Почему это важно

Обучение GPT-2-уровня в 2019 стоило $50 000. В 2026 году — $70 и несколько часов на кластере из 8×H100. nanochat фиксирует этот момент: теперь любой разработчик может понять, что происходит «под капотом» LLM, и обучить собственную модель.

Speedrun-сообщество

Вокруг nanochat выросло соревнование «time to GPT-2» — кто быстрее обучит GPT-2-уровня. Текущий рекорд: 1.65 часа. Это превратилось в спортивную дисциплину среди ML-инженеров.

Для кого полезен

• Студентам ML: лучший способ понять, как работают трансформеры изнутри
• Разработчикам продуктов: понимание стека помогает лучше проектировать промпты
• Исследователям: быстрая точка старта для экспериментов

Нужна готовая модель? Используйте API

Если нужен результат, а не обучение — GPT-5.5, Claude Opus 4.8 доступны сразу через PlusVibe API без GPU.