Datan siirtäminen CSV:n, JSONin, YAMLin ja XML:n välillä
Data ei juuri koskaan pysy paikallaan yhdessä formaatissa. Raportti saapuu taulukkolaskentana, API haluaa JSONia, käyttöönottoputki odottaa YAMLia, ja jossain kellarissa vanha palvelu puhuu yhä XML:ää. Suurin osa datan kanssa työskentelyn arkisesta kitkasta ei ole itse data, vaan sen saaminen sinulla olevasta muodosta muotoon, jota jokin muu vaatii. Siinä on datamuuntimen koko tehtävä: ota jäsennelty teksti yhdessä notaatiossa ja tuota se uudelleen toisessa, kadottamatta merkitystä matkalla.
Speedorin muuntimet toimivat kokonaan selaimessasi. Liität, klikkaat, kopioit tuloksen. Mitään ei ladata, mitään ei lokiteta, eikä mikään poistu koneeltasi. Kenelle tahansa, joka on koskaan epäröinyt ennen asiakasviennin pudottamista satunnaiselle sivustolle, tuo pelkästään paikallinen suunnittelu on juuri se pointti.
Mihin kukin formaatti oikeasti sopii
On hyödyllistä tietää, miksi nämä formaatit ovat olemassa ennen kuin alat sekoittaa niitä keskenään, koska jokainen niistä rakennettiin eri tehtävää varten.
CSV on litteä, pilkuin erotettu ruudukko, jota taulukkolaskentaohjelmat rakastavat. Se on luonteeltaan taulukollinen: rivejä ja sarakkeita, ei mitään sisäkkäistä. Avaa se Excelissä, Google Sheetsissä tai Numbersissa, ja se vain toimii. Sudenkuoppa on, ettei CSV:llä ole käsitystä tyypeistä. Arvo 007 voi olla merkkijono, luku tai postinumero, eikä CSV kerro kumpi.
JSON on modernin webin yhteinen kieli. Lähes jokainen API, jota tulet koskaan kutsumaan, puhuu sitä. JSON käsittelee sisäkkäisyyden, taulukot ja kourallisen todellisia tyyppejä (merkkijonot, luvut, totuusarvot, null), mikä tekee siitä paljon ilmaisuvoimaisemman kuin litteä taulukko. Se on kompakti, konemyönteinen ja tuettu kaikkialla.
YAML on JSONin luettavampi serkku. Se käyttää sisennystä hakasulkeiden sijaan, tukee kommentteja ja on yleensä valittu formaatti konfiguraatiotiedostoille, Docker Composelle, Kubernetes-manifesteille ja CI-putkille. Kun ihmisen täytyy muokata jotain käsin, YAML on yleensä silmäystävällisempi.
XML on vanha valtiomies. Monisanainen, tägeillä täytetty ja yhä syvästi juurtunut yritysjärjestelmiin, SOAP-palveluihin, rahoitusviestintään ja dokumenttistandardeihin kuten RSS:ään. Kohtaat sen harvemmin uusissa projekteissa, mutta kun sitä oikeasti tarvitset, tarvitset sitä kunnolla.
Missä muunnoksia oikeasti tapahtuu
Skenaariot ovat melko konkreettisia, kun alat katsoa niitä. Sanotaan, että markkinointi antaa sinulle taulukon 4 000 yhteystiedosta, ja rekisteröitymis-API hyväksyy vain JSON-taulukon. Viet taulukon CSV:nä, ajat sen CSV-JSON-muunnoksen läpi, ja sinulla on hyötykuorma valmiina POST-pyyntöön. Ei liimaskriptiä, ei pandasia, ei odottelua insinöörin perään.
Tai vedät palan JSONia takaisin samasta API:sta ja haluat pudottaa sen konfiguraatiotiedostoon, jota palvelusi lukee käynnistyksessä. Muunna se JSON-YAML-muunnoksella, ja saat jotain siistiä ja kommentoitavaa, joka sopii suoraan repoosi. Toiseen suuntaan meneminen toimii myös, kun työkalu hyväksyy vain JSONia, mutta konfiguraatiosi asuu YAMLina.
Ja sitten on integraatio, josta kukaan ei pidä: kumppanijärjestelmä, joka ottaa vastaan vain XML:ää. Rakennat hyötykuormasi JSONina, koska niin sovelluksesi ajattelee, ja muunnat sitten XML:ksi rajapinnalla. Muoto pysyy samana, vain syntaksi muuttuu.
Sudenkuopat, jotka kannattaa tietää
Formaatinmuunnos ei ole aina häviötöntä, ja toisin teeskentely johtaa bugeihin. Muutama asia pidettäväksi mielessä:
CSV unohtaa tyypit. Koska jokainen solu on vain tekstiä, luvut, totuusarvot ja päivämäärät tulevat kaikki ulos merkkijonoina, ellei muunnin arvaa niitä puolestasi. Jos true:n täytyy olla totuusarvo eikä sana "true", tarkista tuloste ennen sen julkaisua.
YAML välittää tyhjätiloista. Sisennys ei ole kosmeettista YAMLissa, se on rakenteellista. Yksi harhautunut välilyönti voi muuttaa, mihin avaimeen arvo kuuluu, ja sarkaimet ovat suoraan kiellettyjä. Minkä tahansa JSON-YAML-edestakaisen muunnoksen jälkeen kannattaa vilkaista tulosta silmällä, tai ajaa lopputulos takaisin JSON-muotoilijan läpi varmistaaksesi, että rakenne säilyi.
XML ja JSON eivät sovi siististi yhteen. JSONissa on taulukoita; XML:ssä toistuvia elementtejä. JSONissa ei ole attribuutteja missään; XML:ssä niitä on kaikkialla. Useimmat muuntimet valitsevat järkevän käytännön, mutta jos XML:si käyttää attribuutteja runsaasti, sen tuottama JSON näyttää hieman erilaiselta kuin käsin kirjoitettu JSON. Se on odotettua, ei virhe.
Sisäkkäisyyden syvyydellä on merkitystä. CSV on litteä, joten syvästi sisäkkäistä JSONia ei aina voi tiivistää sarakkeisiin ilman avainten litistämistä (ajattele address.city). Toiseen suuntaan mennessä litteä CSV muuttuu litteäksi taulukoksi, ei koskaan puuksi.
Miksi pelkästään paikallinen käsittely on tärkeää tässä
Suuri osa datasta, jota haluat muuntaa, ei ole omaasi jaettavaksi. Käyttäjätietueet, sisäiset konfiguraatiot, vastaukseen haudatut API-avaimet, taloustiedot. Monet online-muuntimet lähettävät liittämäsi tekstin hiljaa palvelimelle työtä varten. Speedor ei. Muunnoslogiikka toimii selainvälilehdelläsi, data ei koskaan ylitä verkkoa, ja välilehden sulkeminen on kaikki tarvittava siivous. Se on myös nopeampaa, koska latausta edestakaisin ei ole, ja se toimii offline-tilassa sivun latauduttua kerran. Ilmaista, ei rekisteröitymistä, ei kiintiötä.
Usein kysytyt kysymykset
Ladataanko dataani minnekään sitä muuntaessa?
Ei. Jokainen muunnos toimii paikallisesti selaimessasi JavaScriptillä. Datasi ei koskaan poistu laitteeltasi eikä sitä koskaan lähetetä palvelimelle, minkä vuoksi nämä työkalut toimivat jopa offline-tilassa.
Voinko muuntaa CSV:n JSONiksi kirjoittamatta koodia?
Kyllä. Liitä CSV:si muuntimeen, klikkaa muunna, ja kopioi syntyvä JSON-taulukko. Ensimmäistä riviä käsitellään sarakeotsikkoina, joista tulee jokaisen objektin avaimet.
Miksi muunnettu JSONini näyttää luvut merkkijonoina?
CSV:llä ei ole käsitystä datatyypeistä, joten jokainen arvo alkaa tekstinä. Jotkin muuntimet yrittävät tunnistaa luvut ja totuusarvot automaattisesti, mutta epävarmoissa tapauksissa ne pitävät arvot merkkijonoina välttääkseen esimerkiksi postinumeroiden tai etunollaisten tunnisteiden vioittumisen.
Mikä ero on JSONilla ja YAMLilla?
Ne edustavat samantyyppistä dataa, mutta YAML käyttää sisennystä aaltosulkeiden ja hakasulkeiden sijaan, sallii kommentit ja on yleensä ihmisille helpompi lukea ja muokata. JSON on kompaktimpi ja on oletusarvo useimmille web-API:lle.
Onko muunnos näiden formaattien välillä aina häviötöntä?
Yleensä, mutta ei aina. JSON, YAML ja XML sopivat toisiinsa hyvin useimmissa tapauksissa. Hankalimmat parit ovat CSV, joka on litteä ja tyypitön, sekä XML, joka käsittelee attribuutteja ja toistuvia elementtejä eri tavalla kuin JSON-taulukot. Tarkista tuloste aina tärkeän datan osalta.
Toimivatko nämä muuntimet isoilla tiedostoilla?
Ne käsittelevät useimmat arkiset tiedostot mukavasti, koska työ tapahtuu omalla koneellasi. Suorituskyky riippuu laitteestasi eikä palvelimesta, joten hyvin suuria tiedostoja rajoittaa lähinnä selaimesi muisti.