DeepSeek Coder

2025: Применение злоумышленниками для написания кода с целью атаки через Python Package Index

Группа Supply Chain Security департамента Threat Intelligence экспертного центра Positive Technologies (PT ESC) обнаружила и предотвратила вредоносную кампанию в репозитории пакетов Python Package Index (PyPI). Атака нацелена на разработчиков, ML-специалистов и обычных пользователей, которые хотели бы интегрировать DeepSeek в свои системы. Об этом Positive Technologies сообщили 3 февраля 2025 года. Подробнее здесь.

2024: Анонс продукта

В середине июня 2024 года китайский стартап в области искусственного интеллекта DeepSeek анонсировал DeepSeek Coder V2 — открытую модель для программирования. Утверждается, что она превосходит по производительности такие закрытые аналоги, как GPT-4 Turbo, Claude 3 Opus и Gemini 1.5 Pro.

Первая версия DeepSeek Coder насчитывала 33 млрд параметров, поддерживала 86 языков программирования и имела контекстное окно на 16 тыс. токенов. Модель DeepSeek Coder V2 превосходит решение первого поколения по ключевым характеристикам: она использует 338 языков программирования, а размер контекстного окна увеличен до 128 тыс. токенов.

При тестировании в бенчмарках MBPP+, HumanEval и Aider, предназначенных для оценки возможностей больших языковых моделей (LLM) по генерации кода и решению проблем, DeepSeek Coder V2 набрала 76,2, 90,2 и 73,7 балла соответственно, опередив большинство других моделей, включая GPT-4 Turbo, Claude 3 Opus, Gemini 1.5 Pro, Codestral и Llama-3 70B. Высокая производительность также продемонстрирована в тестах, предназначенных для оценки математических возможностей модели (MATH и GSM8K). Единственной моделью, которой удалось превзойти DeepSeek Coder V2, оказалась GPT-4o, получившая более высокие оценки в HumanEval, LiveCode Bench, MATH и GSM8K.Олег Кот, SMART technologies: Мы наблюдаем на рынке некоторое охлаждение, связанное с сокращениями ИТ-бюджетов 3.7 т

Таких высоких показателей компания DeepSeek смогла добиться благодаря подходу «смесь экспертов» (Mixture of Experts, MoE), который подразумевает, что при отправке запроса запускается только часть общей модели, а не вся. Кроме того, было выполнено дополнительное обучение базовой модели DeepSeek V2 на 6 трлн токенов, включающих программный код и математические данные из GitHub и CommonCrawl. В результате, модель с 16 или 236 млрд параметров может активировать только 2,4 или 21 млрд «экспертных» параметров для эффективного решения поставленной задачи.^[1]

Примечания