データエンジニアリングのための Linux 入門

Linux は、コマンドラインインターフェース（CLI）、一般的なデータツールの互換性、セキュリティとスケーラビリティ、オープンソースプラットフォームによるコスト効率性といった独自の特徴により、データエンジニアリングにおける不可欠なツールとして際立っています。これらの属性は、個人または組織のデータエンジニアリング業務を容易にします。コマンドラインインターフェース（CLI）は、コマンドを使用してプログラムと対話するためのツールであり、タスクをより迅速に完了させるためのショートカットのようなものです。CLI は以下の用途で使用できます：ファイルとディレクトリを管理、プロセスと実行中のアプリケーションを管理、ネットワークを構成・管理、システム情報をチェック、データを処理・圧縮・アーカイブ化、スクリプトを作成など。 スタートアップには以下の準備が必要です。CLI は新規ユーザーにとっては威圧的に思えるかもしれませんが、適切なヒントとテクニックを知ることで慣れ、使いやすさが身につきます。キーボードのみを使用することに慣れてください。データエンジニアリングの基礎となる必要がある基本コマンドは以下の通りです： mkdir - ディレクトリを作成 pwd - 現在作業ディレクトリを表示 ls - ディレクトリの内容をリスト表示 cd - ディレクトリを変更 rm - ディレクトリを空にする（削除） cp - ファイルやディレクトリをコピー scp - サーバーにファイルを安全にコピー mv - ファイルを移動またはリネーム touch - 空ファイルを作成 cat - ファイルの中身を連結して表示 ファイル管理は、異なるユーザーにファイル変更の許可・拒否を与えるために重要です。例えば、3 人の人が文書に作業を行っていることを考えみてください。A は文書を見て、編集し、処理できるが、B は 2 つの作業のみ、C は 1 つの作業のみが行えるなど。 ファイル権限コマンドは以下の通りです： ls -l - 権限を表示 chmod - ユーザーへの権限を修約 wget - ウェブからファイルをダウンロード curl - サーバーからデータを受け渡し ssh - 遠隔サーバーに安全に接続 scp - サーバーにファイルを安全にコピー データエンジニアターとしてターミナルを使用する例を見てみましょう。ディレクトリを作成し、そのディレクトリに移動して新しいファイルを作成します。-file.txt vi または nano（内蔵エディタ）を使用してファイルにテキストを追加し、ファイルの権限をチェックします。 CLI を使用して他のツールをダウンロードすることも可能です。一例として、エンジニアが軽量パッケージ（コンテナ）と呼ばれるパッケージにアプリケーションを構築、出荷、実行するために使用するコンテナ化ツールである Docker があります。Linux ベースのターミナル上での操作は以下の通りです： curl -fsSL https://get.docker.com -o get-docker.sh sudo sh get-docker.sh docker --version または docker version（詳細を確認）

Linux stands out as a usefool tool in data engineering because of it's unique features: the Command Line interface CLI, Compatibility with most Data Tools, Security and Scalability as well as cost effectiveness due to being an open source platform. These attributes make the work of an individual or organisation in Data Engineering easier. The Command Line Interface is a tool used to interact with programs using commands, more like shortcuts to get things done faster. The CLI can be used to: Manage files and folders better known as directories Manage processes and running applications Configure and manage your network Check system information Process,compress and archive data Create scripts and many more Here is what you need to get started: While the CLI usually seems intimidating to a new user, familiarity and ease builds up by knowing the right tips and tricks. Get used to using the keyboard only. Basic commands that you need to know for Data engineering basics Commands in file management mkdir - Create a directory pwd - print working directory ls -List directory contents cd - cahnge directory rm - remove an empty directory cp - copy files or directories scp - securely copy files to a server mv - move or rename files touch - create an empty file cat - concatenate and display contents in a file File management is important to allow or deny different users to make changes to your files. Think of 3 people working on a document where Person A is allowed to view, edit and process the document, Person B can only do two of the activities and person C can only do one. File permissions ls -l - view permissions chmod - modify permissions for users wget - download files from the web curl - transfer data from or to a server ssh - connect to a remote server securely scp - securely copy files to a server Let us look at an example of how to work with terminal as a data engineer Create a directory, navigate to the directory and create a new file. -file.txt Add some text to the file using vi or nano (inbuilt editors) Check file permissions We can also download other tools using the CLI. An example is Docker - a containerization tool used by engineers to build, ship and run applications in lightweight packages called containers. On a linux based terminal: Download the script curl -fsSL https://get.docker.com -o get-docker.sh Run the script sudo sh get-docker.sh Check if Docker is successfully installed docker --version or docker version for extra details