NVIDIA представила фреймворк NeMo Megatron, оптимизированный для обучения сверхбольших языковых моделей в инфраструктуре DGX SuperPOD. Такое сочетание готового к работе оборудования и ПО призвано помочь организациям в различных отраслях преодолеть проблемы, связанные с обучением сложных NLP-моделей для обработки естественного языка.

С помощью NVIDIA NeMo Megatron можно эффективно обучать массивные языковые и речевые модели с триллионами параметров, что позволит разрабатывать чат-ботов для конкретных языков и отраслей, персональных помощников, а также создавать и обобщать контент с использованием моделей, которые понимают более широкий диапазон значений и более обширный контекст.

«Большие языковые модели предоставили современному ИИ новые возможности для понимания, запоминания и синтеза идей, — отметил Брайан Катандзаро (Bryan Catanzaro), вице-президент по прикладным исследованиям глубокого обучения в NVIDIA. — Поскольку языковые модели увеличиваются, предприятиям требуется безопасная инфраструктура и масштабируемое ПО для выполнения рабочих нагрузок NLP».

NVIDIA

В числе первых, кто начал создавать сложные языковые модели с помощью NVIDIA DGX SuperPOD есть SiDi, JD Explore Academy и VinBrain. SiDi, один из крупнейших бразильских институтов исследований и разработок в области ИИ, адаптировал виртуального помощника Samsung для бразильского варианта португальского языка, на котором говорят около 200 млн жителей страны.

JD Explore Academy, отдел исследований и разработок JD.com, использует NLP для обслуживания клиентов, розничной торговли, логистики, Интернета вещей и здравоохранения. А вьетнамская компания VinBrain, специализирующаяся в области ИИ в сфере здравоохранения, разработала и внедрила клиническую модель для радиологов и телемедицины в 100 больницах, где её используют более 600 практикующих врачей.

NVIDIA NeMo Megatron не только автоматизирует обучение с помощью инструментов, которые собирают, обрабатывают, систематизируют и очищают данные, но и позволяет распределять большие языковые модели по тысячам графических процессоров. NeMo Megatron оптимизирован для систем DGX SuperPOD, которые имеют 20 и более узлов NVIDIA DGX A100, объединённых интерконнектом InfiniBand. Такие системы идеально подходят для работы с массивными NLP-нагрузками, такими как Megatron-Turing, NLG 530B и GPT-3.

Компания Cambridge Quantum (CQ) объявила о выпуске первого в мире набора инструментов и библиотеки для квантовой обработки естественных языков (QNLP). Этот инструментарий называется lambeq в честь покойного математика и лингвиста Иоахима Ламбека (Joachim Lambek).

Утверждается, что lambeq — это первый в мире программный инструментарий QNLP. Он предназначен для ускорения разработки приложений, которые смогут автоматически переводить разговор на разные языки, преобразовывать текст в речь и так далее. Новинка получила полностью открытые исходники, которые доступны на GitHub.

В основе lambeq и QNLP лежат результаты исследовательского проекта, продолжавшегося более десяти лет. lambeq автоматизирует разработку и развертывание квантового ПО, которое может использоваться в том числе для систем перевода. В последние годы приложения на основе NLP стали широко распространены во всех сферах — от клиентских и потребительских технологий до здравоохранения и рекламы. Аналитики считают, что к 2028 году мировой рынок NLP-решений вырастет до $127,26 млрд, а среднегодовой прирост составит не менее 30%.