Научният съветник на Белия дом, Майкъл Кратсиос, заяви, че Moonshot, китайската компания зад Kimi K3, най-голямата налична LLM с отворени параметри, е изградил своя модел, копирайки Fable LLM на Anthropic, използвайки чипове, които не са одобрени за износ в Китай.
„Мащабната, тайна индустриална дестилация, целяща кражба на собствена технология на САЩ и подриване на американските изследвания, е неприемлива“, написа Кратсиос, на фона на съобщения за обсъждания относно забраната на китайски модели с отворени параметри, което предизвика смут в сектора на ИИ. Moonshot не отговори на въпроси относно процеса на обучение, а Кратсиос не сподели допълнителни детайли относно източниците на своите обвинения.
Туитът на Кратсиос отразява коментари на министъра на финансите Скот Бесент, че „намираме водни знаци на нашите американски модели на голям език в много от китайските модели, и това е неприемливо.“ Не е ясно какво точно представляват тези водни знаци, а Министерството на финансите не отговори на запитване.
Въпреки това, експертите са скептични, че дестилацията – процесът на запитване на LLM, за да се определи как работи и да се копират неговите способности – е отговорна за напредналите способности, които Kimi K3 демонстрира.
„Не мисля, че можете да получите модел с такава сила и толкова бързо, след като Fable прави строго дестилация“, каза Брейдън Хенкок, изследовател в Института Лауде и съосновател на Snorkel AI, пред TechCrunch. „Просто няма време, нали? Fable е публично достъпен само от 1 юли. Не можете да дестилирате толкова много данни, да обучите модел и да го пуснете за две седмици.“
„Бях на мнение, че дестилацията става все по-малко важна с времето, тъй като китайските модели се приближават до границата и режимът на обучение преминава към [обучение с подсилване]“, каза Нейтън Ламбер, изследовател на ИИ в Института Алън за ИИ, в подкаст, публикуван вчера. „[Ако] това беше така, всеки щеше да може лесно да навакса GLM или K3, използвайки данните му за дестилация. Но ние не сме, или няма да видим това, само от супервизирано фино настройване.“
Извършването на дестилация изисква лаборатория, която систематично да запитва целевия си модел, за да генерира данни, които могат да се използват за пост-обучение. Понякога това изрично включва искане от модела да формулира своята логика, за да се разбере как решава проблеми. В други случаи, подканите и отговорите от модел се използват за обучение на нов модел в процес, наречен супервизирано фино настройване, или SFT.
Точно този процес на фино настройване може да доведе до модел, който очевидно е създаден от трета страна, твърдейки, че е Клод. Според Ламбер, финото настройване е там, където „моделът усвоява своите маниери.“
Но Ламбер казва, че ползите от SFT стават все по-малко важни, тъй като моделите стават все по-сложни. За да се дестилират способности, подобни на Fable, вероятно ще са необходими техники за обучение с подсилване. В много случаи, това означава, че агент от по-голям модел оценява отговорите на по-малкия модел и коригира в зависимост от оценката.
По-напредналите техники също изискват значителна инфраструктура. Големите обучения с подсилване могат да изискват десетки милиони агенти. Използването на API на гранична лаборатория за това „беше безумно скъпо и потенциално вероятно щеше да бъде времеви bottleneck, защото тези модели са доста бавни и, честно казано, може дори да не ви дадат повишение на производителността.“
Изглежда вероятно, че предишни гранични модели може да са допринесли за Kimi; Anthropic публично обвини Moonshot, DeepSeek и MiniMax в систематична дестилация на своите модели по-рано тази година. Anthropic заяви, че е открила милиони обмена между своите модели и потребители, които е идентифицирала в тези компании чрез IP адреси и друга мета информация. Тези запитвания бяха „различни от нормалните модели на използване, отразяващи целенасочена експлоатация на способности, а не легитимна употреба.“ Anthropic не отговори на запитванията на TechCrunch относно дестилацията на Fable.
Въпреки това, дестилацията се счита за обичайна сред компаниите за ИИ, не само в Китай. Илон Мъск свидетелства по-рано тази година, че неговата компания SpaceXAI е дестилирала модели на OpenAI, за да разработи Grok, и че практиката е обичайна в индустрията. Границата между дестилацията и разработването на синтетични набори от данни, например, може да бъде доста размита.
„[В] общи линии, американците подценяват техническата експертиза на тези китайски екипи“, каза Хенкок. „Един от основателите на Moonshot беше студент по докторска степен в CMU. Това са легитимни изследователи и инженери, които правят солидна работа. …ако американските модели спрат, мисля, че напредъкът на Китай ще забави, но ще продължи. Те не просто се возят на чужд гръб тук.“
Също така е трудно да се отдели дестилацията от втората част на коментара на Кратсиос – че Moonshot е придобил напреднали Nvidia чипове, Grace Blackwell 300s, и също е получил достъп до сървъри с GB300 в Тайланд. Тези чипове са забранени за износ в Китай, но съществува черен пазар, според Сам Бресник, изследовател в Центъра за сигурност и нови технологии на Джорджтаун. През май, основателят на Supermicro, американски производител на сървъри, беше обвинен в контрабанда на напреднали чипове в Китай.
„Аз съм привърженик на законите за познаване на клиента за центровете за данни по целия свят“, каза Бресник. „Ако позволявате на компания да провежда огромни обучителни сесии на вашето модерно оборудване, трябва да има механизъм за отчитане на това коя е компанията и какво прави.“
Министерството на търговията на президента Джо Байдън предложи федерални правила за познаване на клиента за центровете за данни през 2024 г., но не изглежда, че е постигнат напредък под Доналд Тръмп. Износителите, които изпращат напреднали чипове в чужбина, обаче трябва да се уверят, че те се използват само за одобрени цели.
