AI допомагає писати код. Повільніше, ніж без нього
METR перевірили, як штучний інтелект впливає на роботу досвідчених розробників. Взяли справжніх сеньйорів, дали їм зрілі проєкти з відкритим кодом, підключили популярні AI-асистенти і заміряли ефект. Очікували щось на кшталт ривка продуктивності, а отримали мінус 19 відсотків.
Цікаво те, що самі учасники були впевнені у зворотному. Їм здавалося, що працюють швидше на 20 відсотків. Тобто поки код сповзає в тягучу фазу рефакторингу, розробник щиро вірить, що летить на автопілоті.
Повний аналіз тут: Not So Fast: AI Coding Tools Can Actually Reduce Productivity
Глупая методика измерения чего-то там, основанная на очередном заблуждении, как 5 лет назад было с блокчейнами.
LLM это всего лишь текстовый справочник с строкой приглашения. Он не должен ускорять продуктивность, он должен упрощать поиск новой информации.
Чтобы ты понимал как оно работает, представь СЕБЯ. Ты знаешь два языка: русский и украинский. Поможет ли тебе LLM лучше\быстрее\грамотнее писать на русском или украинском? Нет конечно. Зато он может тебе помочь вспомнить сюжет из книги для цитаты, или систематизировать написанное.
Вот senior – это такой же человек, только знает он не русский\украинский, а C\PHP. Поскольку он уже знает все нюансы языка, то у него не стоит вопрос “как написать”, у него стоит вопрос “что написать” – и LLM тут бессилен. И как раз в рефакторинге он и помогает, особенно на тему “слушай, память течет, где-то проебал g_free(), поищи-ка где”.
А вот джуниору побыстрее стать сениором, LLM явно поможет, поскольку пересказывает справочник понятным языком.
Справочник – єто скорее гугл, с его понятной логикой (пусть и сложной, но понимаемой).
LLM – насколько понимаю матрици, и как оно работает, ну у меня в голове не складивается.
Все что дает ответы на вопросы – справочник, вне зависимости от его фич.
Классический гугл – тупая индексация с булевой логикой. То что сейчас зовут ИИ – многоуровневая индексация с кучей ветвлений на каждый результат. Индексацию программируют. Индексация при помощи нейросети – не программируется, а “обучается”, т.е. выбирает максимально подходящий под условия результат.
Программируется это несложно с 80хх годов XX века, загвоздка была лишь в вводе информации – вот например чтобы обучить человеческую тушку, данные в нее вводятся с разных сенсоров лет 16; и в количестве ОЗУ чтобы хранить промежуточный результат.
Я когда в году примерно 2015-м делал это на RPI для распознавания речи для домашнего ассистента – только сырая языковая модель из надиктованного русского текста занимала 2.5 гига. Распакованная в ОЗУ, она занимала 8 гб на каждый уровень (сейчас это зовут токенами). Ну то есть, тогда, в 2015 году, чтобы программа не забыла что ты ей говорил 5 фраз назад – нужно было 40 гб оперативки.
Инструмент это хороший, только не стоит его пихать в каждую жопу.
Справочник имеет конечную базу ответов. LLM – может создавать новое знание.