За пределами LLM и моделей с триллионом параметров
В наши дни ИИ кажется синонимом GenAI (генеративного ИИ), LLM (крупных языковых моделей) и ультра-больших моделей. Этот акцент затмил другие области, такие как компьютерное зрение и голосовой ИИ. Успех моделей с триллионом параметров частично объясняется их чрезмерной параметризацией, когда различные комбинации параметров могут приводить к удовлетворительным результатам. По сути, при достаточном количестве скрытых слоев и мощности GPU впечатляющие результаты часто неизбежны, хотя точные причины остаются неясными.
Я заметил аналогичную тенденцию в некоторых моих методах, не связанных с нейронными сетями. Они работают лучше всего, когда максимальна детализация. Техники, использующие комбинаторное повторное выборочное исследование, превосходны при всего нескольких миллионах итераций, исследуя небольшую часть выборочного пространства. Их производительность особенно впечатляющая в высокоразмерных пространствах, используя разреженность пространства признаков. Без этого методы потребовали бы непрактичного количества итераций, что сделало бы их неосуществимыми.
Современные LLM не являются панацеей
Несмотря на их впечатляющую производительность, мой опыт работы с GPT от OpenAI был разочаровывающим. Хотя он превосходит многие альтернативы, он не удовлетворяет мои потребности, особенно в исследовательских вопросах. GPT не предоставляет ссылки, которые он использует, даже при запросе. Мои разочарования, разделяемые многими, подробно описаны в моем посте на LinkedIn “My New LLM Project”.
В результате мне нужно разработать свой собственный инструмент. Нежелание OpenAI делиться источниками, возможно, из-за проблем с авторским правом, и многословие ответов GPT являются серьезными недостатками. Я предпочитаю краткие ключевые моменты и ссылки вместо длинных, удобных для начинающих ответов. Моё решение будет проще, не требующее нейронных сетей или полированного английского языка, и будет сосредоточено на специализированных источниках в области математики.
Темы исследований за пределами LLM
Новые разработки за пределами LLM получают меньше финансирования и внимания, но интерес к решениям, требующим меньше ресурсов, растет. Мои исследования сосредоточены на более быстрых техниках, которые дают лучшие результаты, включая улучшенные метрики оценки, которые избегают ложных отрицаний, часто встречающихся при генерации синтетических табличных данных. Эти методы дают воспроизводимые, объяснимые результаты и менее чувствительны к выбору начальных данных. Подробные тематические исследования доступны в моем блоге.
Состояние традиционного машинного обучения
Традиционное машинное обучение не устарело. Часть моих исследований все еще включает повторное выборочное исследование и регрессию, но с значительными улучшениями. Например, моя техника “облачной регрессии” работает без зависимой переменной, выполняя как контролируемую, так и неконтролируемую регрессию или кластеризацию в рамках одной модели. Она обрабатывает различные типы регрессии, включая методы регуляризации, такие как Lasso и Ridge, и не зависит от модели, даже для многомерных доверительных интервалов. Мои функции потерь более универсальны, чем те, что используются в современных LLM, а мой метод градиентного спуска оригинален, не требует математических вычислений и параметров.
Новые типы визуализаций
Визуализация данных остается традиционной областью исследований. В то время как многие сосредотачиваются на панелях управления, я разработал мощные визуализации, которые суммируют сложные, высокоразмерные данные с помощью двумерных диаграмм рассеяния. Моя последняя инновация – это тип анимации данных, применимый в различных контекстах, включая GenAI.
Чтобы продемонстрировать это, я применил процедуру облачной регрессии к 500 наборам тренировочных данных в форме эллипсов, каждый из которых имел определенные параметры и различные уровни шума. Цель заключалась в оценке эффективности техники подгонки кривой для различных наборов данных. Непрерывный путь в пространстве параметров обеспечивает плавные переходы между наборами тренировочных данных в анимации, охватывая многочисленные комбинации. Синие кривые представляют оценки неизвестных теоретических эллипсов.