本当に大きなテキストファイルとCSVファイルを開く方法

公開: 2021-10-24

MSExcelは1,048,576行を表示できます。 通常の使用ではそれは非常に多いように見えるかもしれませんが、それだけでは不十分なシナリオはたくさんあります。

ログファイルでも大きなデータセットでも、数百万行のCSVファイルや膨大なテキストファイルを簡単に見つけることができます。 Excelはこれほど大きなファイルをサポートできないので、どの程度正確にファイルを開きますか？ 確認してみましょう。

目次

    通常のテキストエディタが本当に大きなファイルを開かないのはなぜですか？

    コンピューターにはギガバイトのストレージがあるのに、なぜテキストエディターで大きなファイルを開くことができないのでしょうか。

    ここでは2つの要素が関係しています。 一部のアプリケーションには、表示できるデータの量にハードコードされた制限があります。 あなたのPCがどれだけのメモリを持っているかは関係ありません、彼らはただそれを使用しません。

    2番目の問題はRAMです。 多くのテキストエディタには行数に厳しい制限はありませんが、メモリの制限のために大きなファイルを表示することはできません。 ファイル全体をシステムRAMにロードするため、このメモリが十分に大きくない場合、プロセスは失敗します。

    方法1：無料のエディターを使用する

    非常に大きなテキストファイルを表示する最良の方法は、テキストエディタを使用することです。 テキストエディタだけでなく、コードを書くためのツールもあります。 このようなアプリは通常、大きなファイルを問題なく処理でき、無料です。

    ラージテキストファイルビューアは、おそらくこれらのアプリケーションの中で最も単純です。 非常に使いやすく、高速に動作し、リソースのフットプリントが非常に低くなっています。 唯一の欠点は？ ファイルを編集することはできません。 ただし、大きなCSVファイルのみを表示したい場合は、これがその作業に最適なツールです。

    大きなテキストファイルを編集する場合も、Emacsを試してみてください。 もともとはUnixシステム用に作成されましたが、Windowsでも完全に機能し、大きなファイルを処理できます。 同様に、NeovimとSublime Textは、ギガバイトサイズのCSVテキストファイルを開くために使用できる2つの軽量IDEです。

    探しているのが大きなログファイルからデータを検索することだけである場合、kloggはまさにあなたのためのツールです。 人気のあるgloggの更新フォークであるこのアプリケーションを使用すると、膨大なテキストファイルから複雑な検索操作を簡単に実行できます。 コンピューターで生成されたログファイルには数百万行が含まれることが多いため、kloggはそのようなファイルサイズで問題なく動作するように設計されています。

    方法2：複数の部分に分割する

    大きなCSVファイルを開こうとする際の全体的な問題は、それらが大きすぎることです。 しかし、これらを複数の小さなファイルに分割するとどうなるでしょうか。

    これは、一般的に新しいテキストエディタのインターフェイスを学習する必要がないため、一般的なソリューションです。 代わりに、オンラインで利用できる多くのCSVスプリッターのいずれかを使用して、大きなファイルをいくつかの読みやすいファイルに分割できます。 これらの各ファイルには、通常どおりアクセスできます。

    ただし、これはこれを実行するための最良の方法ではありません。 大きなファイルを分割すると、多くの場合、奇妙なタイプミスや不適切に構成されたファイルが発生する可能性があります。 さらに、各チャンクを個別に開くと、データ全体を一度にフィルタリングできなくなります。

    方法3：データベースにインポートする

    数ギガバイトに拡張されるテキストファイルと.csvファイルは、通常、大きなデータセットです。 では、それらをデータベースにインポートしてみませんか？

    SQLは、最近使用されている最も一般的なデータベースマークアップ言語です。 使用されているSQLには多くのバージョンがありますが、最も簡単なのはおそらくMySQLです。 運が良ければ、CSVファイルをMySQLテーブルに変換することもできます。

    これは決して大きなCSVファイルを処理する最も簡単な方法ではないため、定期的に大きなデータセットを処理する場合にのみこれをお勧めします。 MySQLが難しすぎるように思われる場合は、代わりに.csvファイルをいつでもMSAccessにインポートできます。

    方法4：Pythonライブラリを使用して分析する

    数百万行のデータを含む.csvファイルを使用している場合、手動でそれを理解することは明らかにできません。 傾向を理解するために、データをフィルタリングし、特定のクエリを実行することをお勧めします。

    では、それを行うためのPythonコードを書いてみませんか？

    繰り返しますが、これは最もユーザーフレンドリーな方法ではありません。 Pythonは習得するのが最も難しいプログラミング言語ではありませんが、コーディングであるため、最善のアプローチではない可能性があります。 それでも、非常に大きなCSVファイルを毎日解析する必要がある場合は、Pythonコードを使用してタスクを自動化することをお勧めします。

    方法5：プレミアムツールを使用

    最初の方法で見たテキストエディタは、CSV処理専用のツールではありませんでした。 これらは、大きな.csvファイルの操作にも使用できる汎用ツールでした。

    しかし、特殊なアプリケーションについてはどうでしょうか？ この問題を解決するために作成されたアプリはありませんか？

    実はあります。 たとえば、CSV Explorerは、最後の2つの方法（SQLデータベースとPythonコード）で説明したプロセスに基づいて構築され、任意のサイズのCSVファイルを表示および編集できるアプリを作成します。 グラフの作成やCSVエクスプローラーでのデータのフィルター処理など、スプレッドシートツールに期待するすべてのことを実行できます。

    もう1つのオプションはUltraEditです。 以前のツールとは異なり、これは.csvファイルだけでなく、あらゆる種類のテキストファイルを対象としています。 数ギガバイトの範囲のテキストファイルとCSVファイルを簡単に処理でき、前述の無料のエディターの多くと同様のインターフェイスを備えています。

    これらのツールの唯一の欠点は、プレミアムアプリケーションであり、使用するには有料ライセンスを取得する必要があることです。 無料の試用版をいつでも試して、機能を確認することができます。または、1回だけ使用する場合も同様です。

    大きなテキストファイルとCSVファイルを開くための最良の方法は何ですか？

    ビッグデータのこの時代では、ギガバイト単位で実行されるテキストファイルに遭遇することは珍しくありません。これは、メモ帳やMSExcelなどの組み込みツールで表示することさえ困難な場合があります。 このような大きなCSVファイルを開くには、サードパーティのアプリケーションをダウンロードして使用する必要があります。

    そのようなファイルを表示するだけの場合は、ラージテキストファイルビューアが最適です。 実際に編集するには、Emacsのような機能豊富なテキストエディターを試すか、CSVエクスプローラーのようなプレミアムツールを試してみてください。

    CSVファイルを分割したり、データベースにインポートしたりするなどの手法では、手順が多すぎます。 巨大なテキストファイルを頻繁に使用する場合は、専用のプレミアムツールの有料ライセンスを取得することをお勧めします。