AI допомагає писати код. Повільніше, ніж без нього

METR перевірили, як штучний інтелект впливає на роботу досвідчених розробників. Взяли справжніх сеньйорів, дали їм зрілі проєкти з відкритим кодом, підключили популярні AI-асистенти і заміряли ефект. Очікували щось на кшталт ривка продуктивності, а отримали мінус 19 відсотків.

Цікаво те, що самі учасники були впевнені у зворотному. Їм здавалося, що працюють швидше на 20 відсотків. Тобто поки код сповзає в тягучу фазу рефакторингу, розробник щиро вірить, що летить на автопілоті.

Повний аналіз тут: Not So Fast: AI Coding Tools Can Actually Reduce Productivity

4 коментарі

  • Глупая методика измерения чего-то там, основанная на очередном заблуждении, как 5 лет назад было с блокчейнами.

    LLM это всего лишь текстовый справочник с строкой приглашения. Он не должен ускорять продуктивность, он должен упрощать поиск новой информации.

    Чтобы ты понимал как оно работает, представь СЕБЯ. Ты знаешь два языка: русский и украинский. Поможет ли тебе LLM лучше\быстрее\грамотнее писать на русском или украинском? Нет конечно. Зато он может тебе помочь вспомнить сюжет из книги для цитаты, или систематизировать написанное.

    Вот senior – это такой же человек, только знает он не русский\украинский, а C\PHP. Поскольку он уже знает все нюансы языка, то у него не стоит вопрос “как написать”, у него стоит вопрос “что написать” – и LLM тут бессилен. И как раз в рефакторинге он и помогает, особенно на тему “слушай, память течет, где-то проебал g_free(), поищи-ка где”.

    А вот джуниору побыстрее стать сениором, LLM явно поможет, поскольку пересказывает справочник понятным языком.

    • Konstantin

      Справочник – єто скорее гугл, с его понятной логикой (пусть и сложной, но понимаемой).
      LLM – насколько понимаю матрици, и как оно работает, ну у меня в голове не складивается.

      • Виталя

        Все что дает ответы на вопросы – справочник, вне зависимости от его фич.
        Классический гугл – тупая индексация с булевой логикой. То что сейчас зовут ИИ – многоуровневая индексация с кучей ветвлений на каждый результат. Индексацию программируют. Индексация при помощи нейросети – не программируется, а “обучается”, т.е. выбирает максимально подходящий под условия результат.

        Программируется это несложно с 80хх годов XX века, загвоздка была лишь в вводе информации – вот например чтобы обучить человеческую тушку, данные в нее вводятся с разных сенсоров лет 16; и в количестве ОЗУ чтобы хранить промежуточный результат.

        Я когда в году примерно 2015-м делал это на RPI для распознавания речи для домашнего ассистента – только сырая языковая модель из надиктованного русского текста занимала 2.5 гига. Распакованная в ОЗУ, она занимала 8 гб на каждый уровень (сейчас это зовут токенами). Ну то есть, тогда, в 2015 году, чтобы программа не забыла что ты ей говорил 5 фраз назад – нужно было 40 гб оперативки.

        Инструмент это хороший, только не стоит его пихать в каждую жопу.

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *

Цей сайт використовує Akismet для зменшення спаму. Дізнайтеся, як обробляються дані ваших коментарів.