MS Excel poate afișa 1.048.576 de rânduri. Deși poate părea un număr foarte mare în utilizarea normală, există o mulțime de scenarii în care acest lucru nu este suficient.
Fie că vă uitați la fișiere jurnal sau la seturi mari de date, este ușor să găsiți fișiere CSV cu milioane de rânduri sau fișiere text enorme. Deoarece excela nu poate accepta fișiere atât de mari, cum le deschideți exact? Să aflăm.
De ce editorii de text normale nu pot deschide fișiere cu adevărat mari?
Un computer are gigaocteți de spațiu de stocare, așa că de ce editorii de text nu pot deschide fișiere mari?
Există doi factori în joc aici. Unele aplicații au o limită codificată de câte date pot afișa. Nu contează câtă memorie are computerul tău, pur și simplu nu o vor folosi.
A doua problemă este RAM. Multe editoare de text nu au o limită strictă a numărului de rânduri, dar nu pot afișa fișiere mari din cauza limitărilor de memorie. Ei încarcă întregul fișier în memoria RAM de sistem, așa că dacă această memorie nu este suficient de mare, procesul eșuează.
Metoda #1: Utilizarea editorilor gratuiti
Cea mai bună modalitate de a vizualiza fișiere text extrem de mari este să folosiți... un editor de text. Nu orice editor de text, ci instrumentele menite pentru scrierea codului. Astfel de aplicații pot gestiona, de obicei, fișiere mari fără probleme și sunt gratuite.
Vizualizator de fișiere text mari este probabil cea mai simplă dintre aceste aplicații. Este foarte ușor de utilizat, funcționează rapid și are o amprentă foarte redusă de resurse. Singurul dezavantaj? Nu poate edita fișierele. Dar dacă doriți doar să vizualizați fișiere CSV mari, acesta este cel mai bun instrument pentru această activitate.
De asemenea, pentru a edita fișiere text mari, ar trebui să încercați Emacs. Creat inițial pentru sisteme Unix, funcționează perfect și pe Windows și poate gestiona fișiere mari. În mod similar, Neovim și Text sublim sunt două IDE-uri ușoare care pot fi folosite pentru a deschide fișiere text CSV de dimensiuni gigabyte.
Dacă tot ceea ce cauți este să cauți date prin fișiere jurnal mari, atunci klogg este instrumentul potrivit pentru tine. O furcă de actualizare a popularului glogg, această aplicație vă permite să efectuați cu ușurință operațiuni complexe de căutare prin fișiere text enorme. Deoarece fișierele jurnal generate de computer pot avea adesea milioane de rânduri, klogg este proiectat să funcționeze cu astfel de dimensiuni de fișiere fără probleme..
Metoda #2: Împărțiți în mai multe părți
Toată problema cu încercarea de a deschide fișiere CSV mari este că acestea sunt prea mari. Dar dacă ar fi să le împărțiți în mai multe fișiere mai mici?
Aceasta este o soluție populară, deoarece, în general, nu implică nevoia de a învăța interfața unui nou editor de text. În schimb, puteți folosi unul dintre multele splittere CSV disponibile online pentru a împărți fișierul mare într-un număr de fișiere ușor de deschis. Fiecare dintre aceste fișiere poate fi apoi accesat în mod normal.
Cu toate acestea, acesta nu este cel mai bun mod de a proceda în acest sens. Împărțirea unui fișier mare poate duce adesea la greșeli de scriere ciudate sau la fișiere configurate incorect. În plus, deschiderea fiecărei porțiuni separat vă împiedică să filtrați toate datele simultan.
Metoda #3: importați într-o bază de date
Fișierele text și .csv care se extind pe mai mulți gigaocteți sunt în general seturi de date mari. Deci, de ce nu le importați într-o bază de date?
SQL este cel mai comun limbaj de marcare a bazei de date folosit în prezent. Sunt multe versiuni de SQL în uz, dar cel mai simplu este probabil MySQL. Și după cum ar fi norocul, este posibil să convertiți un fișier CSV într-un tabel MySQL.
Aceasta nu este în niciun caz cea mai ușoară metodă de a trata fișiere CSV mari, așa că vă recomandăm doar dacă doriți să vă ocupați de seturi mari de date în mod regulat. Dacă MySQL sună prea dur, puteți oricând să importați fișierele .csv în MS Access.
Metoda #4: Analizați cu bibliotecile Python
Când lucrați cu un fișier .csv cu milioane de rânduri de date, evident că nu veți putea să-i înțelegeți prea mult manual. Probabil doriți să filtrați datele și să rulați anumite interogări pentru a înțelege tendințele.
De ce nu scrie codul Python să facem tocmai asta?
Încă o dată, aceasta nu este metoda cea mai ușor de utilizat. În timp ce Python nu este cel mai greu limbaj de programare de învățat, este codificare, așa că s-ar putea să nu fie cea mai bună abordare pentru tine. Totuși, dacă trebuie să analizați zilnic fișiere CSV foarte mari, este posibil să doriți să automatizați sarcina cu ceva cod Python.
Metoda #5: Cu instrumente premium
Editoarele de text pe care le-am văzut în prima metodă nu erau instrumente dedicate destinate procesării CSV. Erau instrumente de uz general care puteau fi folosite și pentru a lucra cu fișiere mari .csv.
Dar cum rămâne cu aplicațiile specializate? Nu există aplicații create pentru a rezolva această problemă?.
Există, de fapt. CSV Explorer, de exemplu, se bazează pe procesul descris de noi în ultimele două metode (bază de date SQL și cod Python) pentru a crea o aplicație capabilă să vizualizeze și să editeze fișiere CSV de orice dimensiune. Puteți face tot ce vă așteptați de la un instrument de foaie de calcul, cum ar fi să creați grafice sau să filtrați datele în CSV Explorer.
O altă opțiune este UltraEdit. Spre deosebire de instrumentul anterior, acesta este destinat nu numai fișierelor .csv, ci și oricărui tip de fișier text. Poate gestiona cu ușurință fișierele text și CSV de la câțiva gigaocteți, cu o interfață similară cu multe dintre editoarele gratuite despre care am discutat mai devreme.
Singurul dezavantaj al acestor instrumente este că sunt aplicații premium, care necesită să obțineți o licență plătită pentru a le putea folosi. Puteți oricând să încercați versiunile lor de încercare gratuite pentru a le verifica funcțiile sau dacă aveți o singură utilizare.
Care este cea mai bună modalitate de a deschide fișiere text mari și CSV?
În această eră a Big Data, nu este neobișnuit să întâlniți fișiere text care rulează în gigaocteți, care pot fi chiar greu de vizualizat cu instrumente încorporate precum Notepad sau MS Excel. Pentru a putea deschide fișiere CSV atât de mari, trebuie să descărcați și să utilizați o aplicație terță parte.
Dacă tot ce doriți este să vizualizați astfel de fișiere, atunci Large Text File Viewer este cea mai bună alegere pentru dvs. Pentru a le edita efectiv, puteți încerca un editor de text bogat în funcții precum Emacs sau puteți alege un instrument premium precum CSV Explorer.
Tehnici precum împărțirea fișierului CSV sau importarea acestuia într-o bază de date implică prea mulți pași. Este mai bine să obțineți o licență plătită pentru un instrument premium dedicat dacă vă treziți să lucrați mult cu fișiere text uriașe.
.