ИИ оказался не способен заменить программистов

Результаты исследования были опубликованы на сервере препринтов arXiv. В ходе тестирования трех моделей ИИ на написание компьютерного кода и исправление ошибок было выяснено, что даже начинающих программистов ИИ пока не может заменить. Модели, включая начальную модель o1, флагманскую модель GPT-4o и Claude 3.5 Sonnet от Anthropic, были протестированы на бенчмарке SWE-Lancer, основанном на 1400 задачах для программистов. Инженеры отметили, что модели часто допускали ошибки из-за недостаточного понимания контекста, что приводило к неверным решениям. Несмотря на это, глава OpenAI Сэм Альтман обещал, что к концу 2025 года появятся модели ИИ, способные качественно решать задачи в программировании на начальном уровне. В середине февраля была анонсирована бесплатная модель GPT-5, а также обещание внедрения поддержки рассуждений в будущие модели.

Источник и фото - lenta.ru