Почему разбираться в LLM важно? 🤔

Закон Мура был сформулирован в 1965 году и утверждал, что количество транзисторов на интегральной схеме будет удваиваться примерно каждые два года. Новая версия закона Мура, о которой заявил основатель Open AI, говорит о том, что количество интеллекта во Вселенной удваивается каждые 18 месяцев. Это утверждение относится к экспоненциальному росту производительности и масштабирования алгоритмов машинного обучения, в частности, к моделям LLM. Модели LLM, такие как GPT-4, тренируются на огромных объемах текстовых данных.

Экспоненциальный рост в обучении LLM возможен благодаря двум факторам:

1. Увеличение вычислительной мощности: с течением времени доступные вычислительные ресурсы продолжают расти, что позволяет обучать более сложные и мощные модели.

2. Оптимизация алгоритмов: исследователи продолжают разрабатывать более эффективные алгоритмы обучения, что улучшает производительность и точность моделей LLM.

Вместе эти факторы способствуют удвоению «количества интеллекта» во Вселенной каждые 18 месяцев, что означает, что нейросети и модели LLM становятся все более мощными и масштабируемыми, способными выполнять невероятно сложные задачи и очень быстро обучаться. Это же следует и из отчета Microsoft, хоть об этом и мало говорят: исследователи искусственного интеллекта хотят создать ИИ, который может учиться сам по себе.

По предположению с какой периодичностью языковые модели удваиваются?