Jak otworzyć naprawdę duży tekst i pliki CSV?

MS Excel może wyświetlić 1 048 576 wierszy. Chociaż może się to wydawać bardzo dużą liczbą w normalnym użytkowaniu, istnieje wiele scenariuszy, w których to nie wystarczy.

Niezależnie od tego, czy przeglądasz pliki dziennika, czy duże zestawy danych, łatwo znajdziesz pliki CSV z milionami wierszy lub ogromnymi plikami tekstowymi. Ponieważ program Excel nie obsługuje tak dużych plików, jak dokładnie je otwierasz? Dowiedzmy Się.

Dlaczego zwykłe edytory tekstu nie mogą otwierać naprawdę dużych plików?

Komputer ma gigabajty pamięci, dlaczego więc edytory tekstu nie mogą otwierać dużych plików?

W grę wchodzą tutaj dwa czynniki. Niektóre aplikacje mają ustalony na stałe limit ilości danych, które mogą wyświetlić. Nie ma znaczenia, ile pamięci ma twój komputer, po prostu jej nie użyje.

Druga sprawa to pamięć RAM. Wiele edytorów tekstu nie ma sztywnego limitu liczby wierszy, ale nie może wyświetlać dużych plików ze względu na ograniczenia pamięci. Ładują cały plik do systemowej pamięci RAM, więc jeśli ta pamięć nie jest wystarczająco duża, proces się nie powiedzie.

Metoda nr 1: Korzystanie z bezpłatnych edytorów

Najlepszym sposobem na przeglądanie bardzo dużych plików tekstowych jest użycie… edytora tekstu. Nie byle jaki edytor tekstu, ale narzędzia przeznaczone do pisania kodu. Takie aplikacje zazwyczaj bez problemu obsługują duże pliki i są bezpłatne.

Przeglądarka dużych plików tekstowych jest prawdopodobnie najprostszą z tych aplikacji. Jest naprawdę łatwy w użyciu, działa szybko i zajmuje bardzo mało zasobów. Jedyny minus? Nie może edytować plików. Ale jeśli chcesz tylko przeglądać duże pliki CSV, jest to najlepsze narzędzie do tego zadania.

Do edycji dużych plików tekstowych również powinieneś wypróbować Emacsa. Pierwotnie stworzony dla systemów Unix, działa doskonale również w systemie Windows i może obsługiwać duże pliki. Podobnie Neovim i Sublime Text to dwa lekkie IDE, których można używać do otwierania plików tekstowych CSV o rozmiarze gigabajtów.

Jeśli wszystko, czego szukasz, to wyszukiwanie danych w dużych plikach dziennika, to klogg jest właśnie narzędziem dla Ciebie. Ta aplikacja, będąca aktualizacją popularnego glogga, pozwala z łatwością wykonywać złożone operacje wyszukiwania w ogromnych plikach tekstowych. Ponieważ pliki dziennika generowane przez komputer mogą często mieć miliony wierszy, klogg jest zaprojektowany do pracy z plikami o takich rozmiarach bez problemu.

Metoda #2: Podziel na wiele części

Cały problem z próbą otwarcia dużych plików CSV polega na tym, że są one zbyt duże. Ale co, jeśli podzielisz je na wiele mniejszych plików?

Jest to popularne rozwiązanie, ponieważ na ogół nie wymaga uczenia się interfejsu nowego edytora tekstu. Zamiast tego możesz użyć jednego z wielu rozdzielaczy CSV dostępnych online, aby podzielić duży plik na kilka łatwych do otwarcia plików. Do każdego z tych plików można wtedy normalnie uzyskać dostęp.

Jednak nie jest to najlepszy sposób na zrobienie tego. Dzielenie dużego pliku może często prowadzić do dziwnych literówek lub niewłaściwie skonfigurowanych plików. Co więcej, otwieranie każdego fragmentu osobno uniemożliwia jednoczesne filtrowanie całych danych.

Metoda #3: Importuj do bazy danych

Pliki tekstowe i .csv, które mają wiele gigabajtów, są zazwyczaj dużymi zestawami danych. Dlaczego więc nie zaimportować ich do bazy danych?

SQL jest obecnie najczęściej używanym językiem znaczników baz danych. W użyciu jest wiele wersji SQL, ale najłatwiejszą jest prawdopodobnie MySQL. I na szczęście możliwe jest przekonwertowanie pliku CSV na tabelę MySQL.

Nie jest to najłatwiejsza metoda radzenia sobie z dużymi plikami CSV, więc zalecamy ją tylko wtedy, gdy chcesz regularnie zajmować się dużymi zestawami danych. Jeśli MySQL wydaje się zbyt trudny, zawsze możesz zaimportować pliki .csv do MS Access.

Metoda 4: Analizuj za pomocą bibliotek Pythona

Kiedy pracujesz z plikiem .csv zawierającym miliony wierszy danych, oczywiście nie będziesz w stanie zrozumieć tego ręcznie. Prawdopodobnie chcesz filtrować dane i uruchamiać określone zapytania, aby zrozumieć trendy.

Dlaczego więc nie napisać kodu w Pythonie, który właśnie to zrobi?

Po raz kolejny nie jest to najbardziej przyjazna dla użytkownika metoda. Chociaż Python nie jest najtrudniejszym językiem programowania, jest to kodowanie, więc może nie być dla ciebie najlepszym podejściem. Jeśli jednak będziesz musiał codziennie analizować naprawdę duże pliki CSV, możesz chcieć zautomatyzować zadanie za pomocą kodu Pythona.

Metoda nr 5: Z narzędziami premium

Edytory tekstu, które widzieliśmy w pierwszej metodzie, nie były dedykowanymi narzędziami przeznaczonymi do przetwarzania CSV. Były to narzędzia ogólnego przeznaczenia, których można było używać również do pracy z dużymi plikami .csv.

Ale co z aplikacjami specjalistycznymi? Czy nie ma aplikacji, które zostały stworzone, aby rozwiązać ten problem?

Właściwie są. Na przykład CSV Explorer opiera się na tym samym procesie, który opisaliśmy w dwóch ostatnich metodach (baza danych SQL i kod Pythona), aby stworzyć aplikację zdolną do przeglądania i edycji plików CSV o dowolnym rozmiarze. Możesz zrobić wszystko, czego oczekujesz od narzędzia arkusza kalkulacyjnego, na przykład tworzyć wykresy lub filtrować dane w CSV Explorer.

Inną opcją jest UltraEdit. W przeciwieństwie do poprzedniego narzędzia, dotyczy to nie tylko plików .csv, ale dowolnego typu pliku tekstowego. Może z łatwością obsługiwać pliki tekstowe i CSV o wielkości do kilku gigabajtów, z interfejsem podobnym do wielu darmowych edytorów, o których mówiliśmy wcześniej.

Jedyną wadą tych narzędzi jest to, że są to aplikacje premium, wymagające uzyskania płatnej licencji, aby móc z nich korzystać. Zawsze możesz wypróbować ich bezpłatne wersje próbne, aby sprawdzić ich funkcje lub jeśli masz tylko jednorazowe użycie.

Jaki jest najlepszy sposób otwierania dużych plików tekstowych i CSV?

W dobie Big Data często zdarza się, że natrafia się na pliki tekstowe zajmujące gigabajty, które mogą być trudne do wyświetlenia za pomocą wbudowanych narzędzi, takich jak Notatnik lub MS Excel. Aby móc otwierać tak duże pliki CSV, musisz pobrać i używać aplikacji innej firmy.

Jeśli chcesz tylko przeglądać takie pliki, przeglądarka plików tekstowych jest dla Ciebie najlepszym wyborem. Aby je edytować, możesz wypróbować bogaty w funkcje edytor tekstu, taki jak Emacs, lub skorzystać z narzędzia premium, takiego jak CSV Explorer.

Techniki takie jak dzielenie pliku CSV lub importowanie go do bazy danych obejmują zbyt wiele kroków. Lepiej jest uzyskać płatną licencję na dedykowane narzędzie premium, jeśli dużo pracujesz z dużymi plikami tekstowymi.