последнее время мы не раз наблюдали, как наилучшие ОЕЯ-модели «переваривали» за год в десятки раз больше данных, чем прежде, и за каждым десятикратным увеличением следовали качественные улучшения. Тенденция ежегодного десятикратного роста эффективности языковых моделей сохраняется: в январе 2021 года, всего через семь месяцев после выпуска GPT-3, Google анонсировала языковую модель с 1,75 триллиона параметров — в девять раз больше, чем у GPT-3.