CSV-to-JSON: Der ultimative Leitfaden

Die API analysiert die ersten 100 Zeilen, um konsistente Delimiter zu identifizieren:

// Die API erkennt den Delimiter automatisch
const response = await fetch(''https://apphighway.com/api/v1/csv-to-json'', '{''
  method: ''POST'',
  headers: '{''
    ''Authorization'': `Bearer $'{'process.env.APPHIGHWAY_API_KEY'}'`,
    ''Content-Type'': ''application/json'',
  '}',
  body: JSON.stringify('{''
    file: csvContent, // CSV mit beliebigem Delimiter
    // Kein Delimiter angegeben — Auto-Erkennung greift
  '}'),
'}');
const result = await response.json();
console.log(result.detected_delimiter); // z.B. "," oder ";" oder "\t"

Eingabe: Eine CSV-Datei mit einem beliebigen unterstützten Delimiter (Komma, Semikolon, Tab, Pipe oder benutzerdefiniert)

Ausgabe: JSON-Array von Objekten mit dem erkannten Delimiter in den Response-Metadaten

Für Dateien mit mehrdeutiger Struktur oder benutzerdefinierten Delimitern, explizit angeben:

const response = await fetch(''https://apphighway.com/api/v1/csv-to-json'', '{''
  method: ''POST'',
  headers: '{''
    ''Authorization'': `Bearer $'{'process.env.APPHIGHWAY_API_KEY'}'`,
    ''Content-Type'': ''application/json'',
  '}',
  body: JSON.stringify('{''
    file: csvFile,
    delimiter: ''|'' // Pipe-Delimiter erzwingen
  '}'),
'}');
const result = await response.json();

Reale CSV-Dateien enthalten oft knifflige Formatierungen, an denen naive Parser scheitern. Unsere API behandelt diese Edge Cases automatisch:

name,description,price
"Smith, John","Ein Produkt mit, Kommas",29.99
"O''Brien","Ein anderer ""zitierter"" Wert",15.50

// Eingabe-CSV:
// name,quote
// Alice,"She said ""Hello World"""
// Bob,"He replied ""Goodbye"""

// Ausgabe-JSON:
// [
//   '{'' "name": "Alice", "quote": "She said \"Hello World\"" '}',
//   '{'' "name": "Bob", "quote": "He replied \"Goodbye\"" '}'
// ]

Der Parser verwendet eine Zustandsmaschine, um korrekt zu verfolgen, ob ein Delimiter innerhalb oder außerhalb von zitierten Feldern steht, und unterstützt sowohl RFC 4180-konforme Zitierung als auch gängige nicht-standardmäßige Variationen.

Die API untersucht die Werte jeder Spalte, um den am besten passenden Typ zu bestimmen:

// Eingabe-CSV:
// name,age,price,active,created
// Alice,30,29.99,true,2024-01-15
// Bob,25,15.50,false,2024-02-20

// Ausgabe-JSON mit abgeleiteten Typen:
// [
//   '{''
//     "name": "Alice",    // string
//     "age": 30,           // integer
//     "price": 29.99,      // float
//     "active": true,      // boolean
//     "created": "2024-01-15"  // date
//   '}'
// ]

Identifiziert automatisch Header-Zeilen vs. Daten-Zeilen:

const response = await fetch(''https://apphighway.com/api/v1/csv-to-json'', '{''
  method: ''POST'',
  headers: '{''
    ''Authorization'': `Bearer $'{'process.env.APPHIGHWAY_API_KEY'}'`,
    ''Content-Type'': ''application/json'',
  '}',
  body: JSON.stringify('{''
    file: csvFile,
    has_header: true, // Header-Erkennung erzwingen
    header_row: 0 // Header-Zeile angeben (0-basiert)
  '}'),
'}');
const result = await response.json();

Bei aktivierter Auto-Erkennung analysiert die API die erste Zeile, um festzustellen, ob sie Spaltennamen enthält, indem sie prüft, ob sich die Typverteilung von nachfolgenden Zeilen unterscheidet.

CSV-Dateien von verschiedenen Systemen verwenden verschiedene Zeichenkodierungen. Die API erkennt und konvertiert automatisch:

Alle Ausgaben werden auf UTF-8 JSON normalisiert:

const response = await fetch(''https://apphighway.com/api/v1/csv-to-json'', '{''
  method: ''POST'',
  headers: '{''
    ''Authorization'': `Bearer $'{'process.env.APPHIGHWAY_API_KEY'}'`,
    ''Content-Type'': ''application/json'',
  '}',
  body: JSON.stringify('{''
    file: csvFile,
    encoding: ''windows-1252'' // Spezifische Kodierung erzwingen
  '}'),
'}');
const result = await response.json();

Alle Ausgaben sind garantiert UTF-8 JSON, unabhängig von der Eingabe-Kodierung. Dies stellt Kompatibilität mit allen modernen Anwendungen, Datenbanken und APIs sicher, ohne manuelle Konvertierungsschritte.

Oder gehen Sie in die entgegengesetzte Richtung—flachen Sie komplexe CSVs ab:

// Eingabe: CSV mit hierarchischen Headern
// Sales/2024/Q1, Sales/2024/Q2, Sales/2024/Q3
// 15000, 18000, 21000

// Ausgabe mit Flattening:
// [
//   '{''
//     "Sales_2024_Q1": 15000,
//     "Sales_2024_Q2": 18000,
//     "Sales_2024_Q3": 21000
//   '}'
// ]

Flattening vereinfacht verschachtelte CSV-Strukturen in flache Schlüssel-Wert-Paare, was den Import von Daten in relationale Datenbanken oder flache Dateiformate erleichtert, ohne Informationen zu verlieren.

Einfachste Nutzung—laden Sie einfach eine Datei hoch:

const response = await fetch(''https://apphighway.com/api/v1/csv-to-json'', '{''
  method: ''POST'',
  headers: '{''
    ''Authorization'': `Bearer $'{'process.env.APPHIGHWAY_API_KEY'}'`,
    ''Content-Type'': ''application/json'',
  '}',
  body: JSON.stringify('{''
    file: csvFile, // Datei-Inhalt als base64 oder Text
    infer_schema: true // Typ-Inferenz aktivieren
  '}'),
'}');
const result = await response.json();

console.log(result.json_data); // Array von Objekten
console.log(result.schema); // Abgeleitetes Schema

Verhalten für komplexe Dateien feinabstimmen:

const response = await fetch(''https://apphighway.com/api/v1/csv-to-json'', '{''
  method: ''POST'',
  headers: '{''
    ''Authorization'': `Bearer $'{'process.env.APPHIGHWAY_API_KEY'}'`,
    ''Content-Type'': ''application/json'',
  '}',
  body: JSON.stringify('{''
    file: csvFile,
    
    // Delimiter-Einstellungen
    delimiter: '';'', // Semikolon-Delimiter erzwingen
    quote_char: ''"'', // Anführungszeichen zum Maskieren
    
    // Header-Einstellungen
    has_header: true, // Erste Zeile ist Header
    header_row: 0, // Header-Zeilen-Index (0-basiert)
    
    // Kodierungs-Einstellungen
    encoding: ''latin-1'', // Spezifische Kodierung erzwingen
    
    // Typ-Inferenz
    infer_schema: true,
    type_hints: '{''
      price: ''number'',
      active: ''boolean'',
      created_at: ''date''
    '}',
    
    // Verschachtelte Strukturen
    array_columns: [''tags'', ''categories''],
    array_delimiter: ''|'',
    nested_columns: [''address.*'', ''contact.*''],
    
    // Performance
    chunk_size: 10 * 1024 * 1024, // 10MB Chunks
    streaming: true, // Streaming-Modus aktivieren
    
    // Validierung
    validate_schema: true,
    required_columns: [''id'', ''name''],
    
    // Ausgabe-Optionen
    compress: true, // Gzip-Kompression
    pretty: false // Minifiziertes JSON
  '}'),
'}');
const result = await response.json();

Robuste Fehlerbehandlung für Produktionssysteme:

async function convertCsvToJson(csvFile, options = '{''}') '{''
  const response = await fetch(''https://apphighway.com/api/v1/csv-to-json'', '{''
    method: ''POST'',
    headers: '{''
      ''Authorization'': `Bearer $'{'process.env.APPHIGHWAY_API_KEY'}'`,
      ''Content-Type'': ''application/json'',
    '}',
    body: JSON.stringify('{'' file: csvFile, ...options '}'),
  '}');
  
  const result = await response.json();
  
  if (!response.ok) '{''
    throw '{'' code: result.error, message: result.message '}';
  '}'
  
  return result;
'}'

try '{''
  const result = await convertCsvToJson(csvFile);
  
  // Nach Warnungen prüfen
  if (result.warnings?.length > 0) '{''
    console.warn(''Konvertierungs-Warnungen:'', result.warnings);
  '}'
  
  return result.json_data;
  
'}' catch (error) '{''
  if (error.code === ''INVALID_DELIMITER'') '{''
    // Mit manuellem Delimiter versuchen
    return (await convertCsvToJson(csvFile, '{'' delimiter: '';'' '}')).json_data;
    
  '}' else if (error.code === ''ENCODING_ERROR'') '{''
    // Mit spezifischer Kodierung versuchen
    return (await convertCsvToJson(csvFile, '{'' encoding: ''latin-1'' '}')).json_data;
    
  '}' else if (error.code === ''SCHEMA_MISMATCH'') '{''
    // Schema-Validierung deaktivieren
    return (await convertCsvToJson(csvFile, '{'' validate_schema: false '}')).json_data;
    
  '}' else if (error.code === ''FILE_TOO_LARGE'') '{''
    // Auf Enterprise-Tier upgraden oder Datei aufteilen
    throw new Error(''Datei überschreitet Größenlimit. Bitte upgraden oder Datei aufteilen.'');
    
  '}' else '{''
    // Unbekannter Fehler
    console.error(''Konvertierung fehlgeschlagen:'', error);
    throw error;
  '}'
'}'

Mehrere Dateien effizient verarbeiten:

import pLimit from ''p-limit'';

const limit = pLimit(5); // Max 5 gleichzeitige Anfragen

const files = [
  ''products_2024_01.csv'',
  ''products_2024_02.csv'',
  // ... 98 weitere Dateien
];

async function convertCsvToJson(csvFile, options = '{''}') '{''
  const response = await fetch(''https://apphighway.com/api/v1/csv-to-json'', '{''
    method: ''POST'',
    headers: '{''
      ''Authorization'': `Bearer $'{'process.env.APPHIGHWAY_API_KEY'}'`,
      ''Content-Type'': ''application/json'',
    '}',
    body: JSON.stringify('{'' file: csvFile, ...options '}'),
  '}');
  return response.json();
'}'

const results = await Promise.all(
  files.map(file => 
    limit(async () => '{''
      try '{''
        const result = await convertCsvToJson(
          await readFile(file),
          '{'' infer_schema: true '}'
        );
        
        console.log(`Konvertiert $'{'file'}': $'{'result.json_data.length'}' Zeilen`);
        return '{'' file, success: true, data: result.json_data '}';
        
      '}' catch (error) '{''
        console.error(`Fehlgeschlagen $'{'file'}':`  , error.message);
        return '{'' file, success: false, error: error.message '}';
      '}'
    '}')
  )
);

const successful = results.filter(r => r.success).length;
const failed = results.filter(r => !r.success).length;

console.log(`Batch abgeschlossen: $'{'successful'}' erfolgreich, $'{'failed'}' fehlgeschlagen`);
console.log(`Gesamtzeit: $'{'Math.round((Date.now() - startTime) / 1000)'}'s`);
console.log(`Verwendete Punkte: $'{'results.length * 2'}'`);

// Ergebnis: 100 Dateien in ~3 Minuten, 200 Punkte gesamt

Batch-Verarbeitung mit Gleichzeitigkeits-Limits ermöglicht die Konvertierung von hunderten CSV-Dateien in Minuten bei Einhaltung der Rate Limits. 100 Dateien dauern ungefähr 3 Minuten und kosten nur 200 Punkte.

10 CSV-Dateien täglich verarbeiten (5000-10000 Produkte gesamt)

Verschiedene Delimiter (Kommas, Semikolons) und Kodierungen (UTF-8, Windows-1252) handhaben

Produktkategorien von Pipe-getrennten Strings zu Arrays konvertieren

Verschachtelte Adressinformationen in strukturierte Objekte parsen