Следващото поколение MTIA чипове ще бъдат разширени, за да обучават генеративни AI модели
Следващото поколение персонализирани AI чипове на Meta ще бъдат по-мощни и ще обучават своите модели за класиране много по-бързо. Meta Training and Inference Accelerator (MTIA) е проектиран да работи най-добре с моделите за класиране и препоръки на Meta. Чиповете могат да помогнат за по-ефективно обучение и по-лесни изводи. Последните са известни като действителна задача за разсъждение.
Компанията сподели, че MTIA е голяма част от нейния дългосрочен план за изграждане на инфраструктура около използването на AI в услугите й. Проектират се нови чипове, за да работят с текущата технологична инфраструктура и бъдещи подобрения в GPU.
Това води до допълнителни инвестиции не само за изчисление, но и в честотна лента за памет, мрежи и капацитет, както и в други хардуерни системи от следващо поколение.
На фокус
Meta обяви MTIA v1 през май 2023 г. Компанията се фокусира върху предоставянето на тези чипове в центровете за данни. Следващото поколение MTIA чип вероятно също ще е насочен към тях. MTIA v1 не се очакваше да бъде пуснат до 2025 г. И двата MTIA чипа вече са в производство.
В момента MTIA обучава главно алгоритми за класиране и препоръки. Целта е в крайна сметка е да се разширят възможностите на чипа, за да започне обучението на генеративен AI като езикови модели Llama.
Новият MTIA чип фундаментално е фокусиран върху осигуряването на правилния баланс на изчисления, честотна лента на паметта и капацитет. Този чип ще има 256MB памет с 1.3GHz в сравнение със 128MB и 800GHz на v1. Ранните резултати от тестовете показаха, че иновативният чип се представя три пъти по-добре от версията на първото поколение в четири различни модела.
От известно време се работи върху MTIA v2. Проектът е наречен Artemis и ще се фокусира само върху изводите.
Световни течения
И други компании за изкуствен интелект се опитват да направят свои собствени чипове, тъй като търсенето на изчислителна мощност нараства заедно с използването на AI.
Google пусна своите нови TPU чипове през 2017 г., докато Microsoft обяви своите Maia 100. Amazon също разполага с коз, наречен Trainium 2. Той обучава базови модели четири пъти по-бързо от предишната версия.
Конкуренцията при създаването и закупуването на мощни чипове подчертава необходимостта от персонализирани такива за управление на AI модели. Търсенето им е нараснало толкова много, че Nvidia, която доминира пазара на AI чипове в момента, се оценява на 2 трилиона долара.
