1. Zusammenfassung des Problems

Wenn Bilder, die über die X(auch Twitter) App in einer iOS (iPhone 13, iOS 17.x) Umgebung gespeichert wurden, direkt über die iPhone Foto-App zu GPT hochgeladen werden, wurde festgestellt, dass der MIME-Typ des betreffenden Bildes nicht korrekt erkannt wird. Dies führt dazu, dass bei der Action API-Anfrage der Wert null behandelt wird, was einen 400-Fehler verursacht. Obwohl das Bildformat JPEG ist, kann der File-Service von OpenAI den MIME-Typ nicht richtig ableiten.

2. Auftretensbedingungen

  • Verwendetes Gerät: iPhone 13 (iOS 17.x)
  • Hochlade-Methode: Direktes Hochladen über die Foto-App zu GPT
  • Bildgenerierungsweg: Speicherung über den Download-Button in der X-App
  • Dateiformat: JPEG (basierend auf EXIF-Informationen und Komprimierungsformat)
  • Dateierweiterung: .jpeg oder .JPEG (Foto-App) → .jpg (in Ubuntu bei Nextcloud-Integration überprüft)
  • Foto-App-Verhalten: Bilder, die in der X-App gespeichert wurden, werden automatisch in Alben sortiert

3. Zusammenfassung der Versuchsergebnisse

Versuchsbedingungen Quelle Erweiterung MIME-Inferenzwert Ergebnis
Bild hochladen von der Foto-App X-App Download .jpeg null ❌ Fehlgeschlagen
Hochladen nach Kopie in File-App/Nextcloud Kopie des X-Bildes .jpg image/jpeg ✅ Erfolgreich
Das gleiche Bild in Ubuntu hochladen Ordner, der mit Nextcloud synchronisiert ist .jpg image/jpeg ✅ Erfolgreich

4. Analyse und vermutete Ursachen

4.1 Möglichkeit der Interferenz durch die Metadaten der X-App

  • iOS-exklusive Metatags wie com.apple.metadata:kMDItemWhereFroms können die MIME-Typ-Inferenz stören

4.2 Inkonsistenz zwischen Erweiterung und internem Format

  • In iOS wird es als .jpeg ausgezeichnet, während es in Ubuntu und anderen Systemen als .jpg behandelt wird, was zu Abweichungen bei der Inferenz zwischen den Plattformen führt

4.3 Ignorierung des von GPT angegebenen MIME-Typs

  • Auch wenn GPT image/jpeg angibt, ignoriert der File-Service von OpenAI dies und behandelt es intern als null

5. Vorschläge und Reaktionsrichtungen

5.1 Benutzerseitige Reaktion

  • Speichern Sie Bilder, die mit der X-App gespeichert wurden, nicht direkt über die Foto-App hoch
  • Empfohlen wird, die Bilddatei über die File-App oder PC/Mac zum Hochladen zu übertragen

5.2 Verbesserungsvorschläge an OpenAI und Action SDK

  1. Verbesserung der MIME-Typ-Inferenz für die .jpeg-Erweiterung
  2. Verbesserung des SDK, um den von GPT angegebenen MIME-Typ nicht zu ignorieren
  3. Überprüfung der Verwendung von Content-Sniffing basierenden Fallback-Mechanismen ohne Abhängigkeit von Metadaten

6. Verfügbare Referenzmaterialien

Auf Anfrage können folgende Materialien bereitgestellt werden: - Screenshots der Metadatenvergleiche zwischen der iOS Foto-App und der Ubuntu-Umgebung - Medienattributinformationen, die in Ubuntu extrahiert wurden - Tatsächliche Anforderungsprotokolle, bei denen der von GPT angegebene mime_type ignoriert wurde