16:00 
NSLLM объединяет LLM и нейробиологию
Большие языковые модели (LLM) стали важнейшими инструментами в разработке общего искусственного интеллекта (AGI). Однако по мере расширения базы пользователей и увеличения частоты использования развертывание этих моделей влечет за собой значительные затраты вычислений и памяти, что ограничивает их потенциал служить базовой инфраструктурой для человеческого общества. Более того, нынешним LLM обычно не хватает интерпретируемости: их непрозрачные процессы принятия решений и оптимизации затрудняют обеспечение надежности и справедливости в областях высокого риска, таких как здравоохранение и финансы. Напротив, человеческий мозг выполняет сложные задачи с мощностью менее 20 Вт, демонстрируя при этом удивительную прозрачность своих когнитивных процессов. Этот резкий контраст подчеркивает разрыв между LLM и человеческим познанием и представляет собой двойную задачу: с одной стороны, повышение вычислительной эффективности LLM необходимо для повышения энергоэффективности и экономии ресурсов; с другой стороны, улучшение их интерпретируемости имеет решающее значение для лучшего понимания взаимодействия и функций компонентов в крупномасштабных системах.
Чтобы преодолеть междисциплинарное узкое место, в этом исследовании предлагается единая структура, которая преобразует обычные LLM в NSLLM путем выполнения целочисленного подсчета импульсов и преобразования двоичных импульсов, в то же время включая механизм линейного внимания на основе спайков. Эта структура объединяет нейробиологию и большие языковые модели, предлагая платформу для применения инструментов нейробиологии в программах LLM. Вводя целочисленное обучение с двоичным выводом, выходные данные стандартных LLM преобразуются в пиковые представления, что позволяет нейробиологическим инструментам анализировать обработку информации.
Совместно разработанный программно-аппаратный LLM со сверхнизким энергопотреблением без MatMul
Чтобы проверить энергоэффективность подхода, в исследовании реализована специальная вычислительная архитектура без MatMul для модели с масштабом в миллиард параметров на платформе FPGA. В частности, стратегия послойного квантования и иерархические метрики чувствительности используются для оценки влияния каждого уровня на потери квантования, что позволяет настроить оптимальную модель импульсов со смешанными временными шагами, которая обеспечивает конкурентоспособную производительность при низкобитном квантовании. Кроме того, вводится стратегия разрежения с помощью квантования, чтобы изменить форму распределения мембранного потенциала и сместить вероятность отображения квантования в сторону меньших целочисленных значений, что значительно снижает частоту срабатывания всплесков и еще больше повышает эффективность модели. На FPGA VCK190 спроектировано аппаратное ядро ??без MatMul, которое полностью исключает операции умножения матриц в NSLLM, снижая динамическое энергопотребление до 13,849 Вт и увеличивая пропускную способность до 161,8 токенов/с. По сравнению с графическим процессором A800 этот подход обеспечивает в 19,8 раз более высокую энергоэффективность, 21,3-кратную экономию памяти и 2,2-кратное повышение пропускной способности вывода.
Улучшенная интерпретируемость за счет увеличения количества нейронов
Преобразуя поведение LLM в нейронные динамические представления, такие как импульсные последовательности, с помощью структуры NSLLM, мы можем анализировать как динамические свойства их нейронов (например, случайность, количественно определяемая энтропией Колмогорова-Синая) и их характеристики обработки информации (например, энтропия Шеннона и взаимная информация). Это позволяет более четко интерпретировать вычислительную роль, которую играют NSLLM. Экспериментальные результаты показывают, что модель более эффективно кодирует информацию при обработке однозначного текста, позволяя ей различать неоднозначные и однозначные входные данные (например, средние уровни демонстрируют более высокую нормализованную взаимную информацию для неоднозначных предложений; уровень AS показывает отчетливые динамические сигнатуры, которые отражают его роль в обработке разреженной информации; а уровень FS имеет более высокую энтропию Шеннона, что указывает на более высокую способность передачи информации. Более того, положительная корреляция между взаимной информацией и энтропией Шеннона предполагает, что слои с более высокая информационная емкость лучше сохраняет ключевые функции ввода). Интегрируя нейронную динамику с теоретико-информационными мерами, эта структура обеспечивает биологическую интерпретируемость механизмов LLM, одновременно значительно снижая требования к данным.
Исследования в области нейробиологии показали, что человеческий мозг обеспечивает энергоэффективную обработку информации посредством разреженных и управляемых событиями вычислений, повышая как эффективность коммуникации, так и интерпретируемость системы. Опираясь на этот принцип, команда разработала междисциплинарную унифицированную структуру, которая представляет нейроморфную альтернативу традиционным LLM, обеспечивая при этом производительность на уровне основных моделей аналогичного масштаба в отношении здравого смысла и ряда более сложных задач на больших моделях, включая понимание прочитанного, ответы на вопросы о мировых знаниях и математику. Эта структура не только расширяет границы энергоэффективного искусственного интеллекта, но также предлагает новые взгляды на интерпретируемость больших языковых моделей и дает ценную информацию для проектирования будущих нейроморфных чипов.
