1. Краткое описание проблемы

В среде iOS (iPhone 13, iOS 17.x) при загрузке изображений, сохраненных через X (бывший Twitter) приложение, в приложение фотографий iPhone непосредственно в GPT, возникла проблема: MIME-тип изображения не распознается правильно, и при запросе к Action API обрабатывается как null, из-за чего возникает ошибка 400. Несмотря на то что формат изображения - JPEG, служба файлов OpenAI не может правильно вывести MIME.

2. Условия возникновения

  • Устройство: iPhone 13 (iOS 17.x)
  • Способ загрузки: Загрузка непосредственно в GPT из приложения фотографий
  • Путь создания изображения: Сохранение через кнопку загрузки в приложении X
  • Формат файла: JPEG (основано на EXIF-данных и методе сжатия)
  • Обозначение расширения: .jpeg или .JPEG (в приложении фотографий) → .jpg (в Ubuntu подтверждено при интеграции с Nextcloud)
  • Работа приложения фотографий: Автоматическая классификация изображений, сохраненных в приложении X, в альбом

3. Краткое резюме результатов эксперимента

Условия эксперимента Источник Расширение Выводимое значение MIME Результат
Загрузка изображения X из приложения фотографий Скачивание из приложения X .jpeg null ❌ Провал
Копирование через файловое приложение/Nextcloud и последующая загрузка Копия изображения X .jpg image/jpeg ✅ Успех
Загрузка того же изображения в Ubuntu Синхронизированная папка Nextcloud .jpg image/jpeg ✅ Успех

4. Анализ и предполагаемые причины

4.1 Возможное вмешательство метаданных приложения X

  • Метатеги, специфичные для iOS, такие как com.apple.metadata:kMDItemWhereFroms, могут помешать выводу MIME-типа

4.2 Несоответствие расширения и внутреннего формата

  • Хотя в iOS это обозначается как .jpeg, в таких системах как Ubuntu оно обрабатывается как .jpg, что приводит к различиям в способах вывода между платформами

4.3 Игнорирование MIME-типа, указанного GPT

  • Несмотря на то что GPT указывает image/jpeg, служба файлов OpenAI игнорирует это и обрабатывает как null

5. Предложения и направления реагирования

5.1 Реакция со стороны пользователя

  • Не загружайте изображения, сохраненные в приложении X, непосредственно из приложения фотографий
  • Рекомендуется использовать файловое приложение или ПК/Mac для переноса и загрузки изображений

5.2 Запрос улучшений к OpenAI и Action SDK

  1. Улучшение вывода MIME-типа для расширения .jpeg
  2. Улучшение SDK для того, чтобы не игнорировать MIME-тип, указанный GPT
  3. Рассмотрение обработки Fallback на основе Content-Sniffing, не полагаясь на метаданные

6. Возможные материалы для предоставления

При запросе могут быть предоставлены следующие материалы: - Скриншоты сравнения метаданных в приложении фотографий iOS и среде Ubuntu - Информация о свойствах медиа, извлеченная в Ubuntu - Актуальные журналы запросов, в которых игнорируется mime_type, указанный GPT