Wgetを使ってインターネットから何かをダウンロードする方法

2019

Wgetは、インターネット上で入手可能なほとんどすべてのものをダウンロードするために使用できるコマンドラインユーティリティです。キャッチは、それがHTTP、HTTPS、またはFTPプロトコルで利用可能であるべきであるということです。そうでなければWgetはそれをダウンロードすることができません。 Wgetを使用するにはいくつかの方法があります。たとえば、Wgetを使用してWebサイト上のすべての画像をダウンロードしたり、単一のファイルをダウンロードしたりできます。可能であれば、Wgetはダウンロードを再開することもできます。ですから、Wgetがどのように機能するのか、そしてそれがあなたのために何ができるのか疑問に思っているのであれば、Wgetの使い方は次のとおりです。

Wgetのインストール

1. macOS SierraにWgetをインストールする

Wgetを使い始める前に、Wgetをシステムにインストールする必要があります。幸いなことに、ほとんどのLinuxディストリビューションにはWgetがプリインストールされていますので、追加作業は必要ありません。ただし、Macを使用している場合は、Wgetをインストールする必要があります。これはHomebrew（ダウンロード）を使って簡単に行えます。手助けが必要な場合は、以下の手順に従ってください。

まず、Wgetをダウンロードできるようにするために、あなたのMacにHomebrewをインストールしなければならないでしょう。これを行うには、ターミナルを起動して次のコマンドを入力します。

 / usr / bin / ruby -e "$（curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install）"

コマンドが完了すると、 Homebrewがシステムにインストールされます。これで、自作を使用してWgetなどのパッケージをインストールできます。ターミナルで、以下のコマンドを実行してください。

 bgetインストールwget

Homebrewは自動的にあなたのシステムにWgetのダウンロード、アンパック、インストールを開始します。ネットワークの速度によっては、この手順に時間がかかることがありますので、しばらくお待ちください。コマンドが完了したら、あなたのMac上でWgetを使うことができるはずです。インストールされているかどうかを確認するには、単に次のコマンドを使用します。

 wget -V

2. WindowsにWgetをインストールする

WindowsにWgetをインストールするにはもう少し手間がかかりますが、簡単に行うことができます。 Windows PCにWgetをインストールしたい場合は、以下の手順に従ってください。

まずCygwinをダウンロードしてから、ダウンロードしたセットアップファイルを実行します 。

デフォルトのダウンロード元を尋ねられたら、「 インターネットからインストール 」というオプションを選択し、 「次へ」をクリックします。

Cygwinのインストールディレクトリと、ユーティリティをインストールするためのパッケージファイルを保存するディレクトリを選択します。

次の画面では、インターネット接続を選択する必要があります。プロキシを使用している場合は、プロキシの種類を選択して詳細を入力します。ただし、ほとんどのユーザーにとって、選択は「 直接接続 」です。

ミラーのリストが表示されたら、Cygwinをダウンロードするためにこれらのいずれかを選択します。ダウンロードが失敗した場合は、別のミラーを使ってもう一度試すことができます。

次のウィンドウで「wget」を検索し、表示されたリストの「web」の 横にあるプラス 記号をクリックします。ここでは、「 wget 」の横のチェックボックスが自動的に選択されます。 「次へ」をクリックしてください。

次の画面に、ダウンロードする必要があるパッケージが表示されます。 「次へ」をクリックするだけです。

インストールが完了したら、デスクトップアイコンを作成するか、またはスタートメニューにエントリを追加するかを尋ねられます。これは完全に個人的な好みの問題ですが、少なくともスタートメニューに追加することをお勧めします。そうすれば簡単に見つけることができます。

それでおしまい。これで、WgetがあなたのWindows PCにインストールされました。ただし、コマンドプロンプトから実行することはできません。代わりに、 Cygwinターミナルを起動して、そこからWgetを使用する必要があります。

Wgetの使い方

Wgetをシステム上で稼働させたので、Wgetを使用してインターネットからファイル、フォルダ、さらにはWebサイト全体をダウンロードするためのクールな方法をすべて探りましょう。あなたのシステム上でWgetを使ってできることがいくつかあります。

注意：私はMacOS Sierra 10.12.3 Betaを実行しているMacBook AirでWgetを使用しています。 ただし、使用しているユーティリティは同じ（Wget）なので、Wgetを使用しているオペレーティングシステムではコマンドは同じになります。

1. Wgetを使ってファイルをダウンロードする

あなたは簡単にインターネットからファイルをダウンロードするためにWgetを使うことができます。次のコマンドを使うだけです

 wget

ファイルをダウンロードして特定のファイル名で保存する

サーバ上のファイルは時々最も奇妙な名前を持っています、そしてあなたはファイルをダウンロードしたいと思うかもしれません、そしてWgetに自動的にあなたにとってより意味のあるものに名前を変更させます。これを行うには、単に次のコマンドを使用します

 wget -o

特定のファイルタイプのみをダウンロードする

Webサーバーはさまざまなファイルをホストしている可能性があります。それでは、サーバー上のすべてのPDF、またはすべてのGIFをダウンロードしたいだけの場合はどうなりますか？次のコマンドを使うだけです。

 wget -r -A pdf

この特定のコマンドは、Harbardの寮の部屋でMark Zuckerbergによって使用され、1つのコマンドですべての画像をダウンロードし、悪名高いWebサイト「facesmash.com」を構築しました。

 wget -r -A jpg、jpeg、png、bmp

2. Wgetを使って複数のURLからファイルをダウンロードする

インターネット上のさまざまな場所からファイルをダウンロードする必要があるとします。 url1にPDFファイル、url2に重要なZIPファイル 、そしてurl3に何か他のものがあるかもしれません。従来の方法でWgetを使用した場合は、3回実行する必要があります。しかし、これを実行するためのはるかに簡単な方法があります。

まず、データをダウンロードするのに必要なすべてのURLを含むファイルを作成します。 各URLは必ずそれぞれ独自の行にしてください 。ファイルを保存して、名前を忘れないようにしてください。

ターミナルで、次のコマンドを使用してすべてのURLからファイルをダウンロードします。

 wget -i

「 file_name 」 は、ファイルのダウンロードに必要なすべてのURLを使用して作成したファイルの名前です 。

3. Wgetでウェブサイト全体をダウンロードする

はい、あなたはその権利を読みました。 Wgetを使ってWebサイト全体のコンテンツをダウンロードすることもできます。明らかに、Webサイトが大きすぎると、このコマンドが終了するまでにかなりの時間がかかります。システム上のスペースを無駄に消費することは言うまでもありません。それでも、Webサイト全体をダウンロードするためにWgetを使用したい場合は、次のコマンドを使用してください。

 wget --mirror -p -P ./LOCAL-DIR WEBSITE-URL

これにより、Webサイト全体が作業ディレクトリ内の「 LOCAL-DIR 」フォルダにダウンロードされます。「 WEBSITE-URL 」のおかげで、WebサイトのファイルはWebサイトと同じ名前のフォルダに保存されます。

4. WebスパイダーとしてWgetを使う

WgetをWebクローラー（またはWebスパイダー）のように機能させることもできます。 ダウンロードしたいファイルのURLが有効であることを確認したいときに便利です。 WgetをWebスパイダーとして使用し、URLの有効性を確認するには、次のコマンドを使用してください。

 wget - spider

これはあなたが言及したURLが存在するかどうかをチェックし、あなたはチェックの結果をあなたに伝える応答を得るでしょう。

肯定的な反応：

否定的な反応：

不完全なダウンロードを続ける

これはWgetができるもう一つの本当に素晴らしいことです。あなたがWgetでファイルをダウンロードしていたとしましょう、しかし何らかの理由で、あなたはあなたのラップトップをシャットダウンしなければなりませんでした。次回同じファイルをダウンロードしようとしたときに、Wgetは実際にダウンロードを続行できます。 前回ファイルをダウンロードしたのと同じフォルダにいることを確認してから、次のコマンドを使用するだけです。

 wget -c

ファイルの一部がすでにシステムに存在していることがWgetによって確認されると、自動的にダウンロードが続行されます。

注意：前回のダウンロード以降にサーバー上のファイルが変更されている場合は、このコマンドを使用しないでください。ファイルが破損しているために読み取ることができなくなります。

また、サーバーがダウンロードの継続を許可していない場合、Wgetは最初からダウンロードを開始することを拒否します。 あなたが最初からダウンロードを開始したい場合は 、まずあなたのシステムから部分的にダウンロードされたファイルを削除しなければならないでしょう 。

この引数を使用するには、さらにいくつかの条件があります。さらに詳しくは、Wgetのマニュアルページを参照してください。

6.ダウンロード速度を制限する

Wgetを使用してファイルをダウンロードし、それと同時にインターネットを閲覧しているのであれば、おそらくあなたの帯域幅の全部をWgetで使い切って欲しくないでしょう。幸いなことに、WgetはあなたのシステムにファイルをダウンロードするためにWgetが使用できる帯域幅の量を制限するために使用できる引数を含んでいます。

 wget --limit-rate =

注：速度はバイト数ではなくバイト数で示されることに注意してください。 したがって、Wget –limit-rate = 20kを使用すると、帯域幅の使用量は20 kbではなく20 kBに制限されます。

7. Wgetを使ってFTPサーバからファイルをダウンロードする

FTPサーバーからファイルをダウンロードする必要がある場合は、Wgetでも同様にできます。次のコマンドを使ってFTPサーバーからファイルをダウンロードするだけです。

 wget

ログインでFTPサーバーからファイルをダウンロードする

あなたのFTPサーバがダウンロードファイルを許可するためにログインを要求するならば、あなたも同様にWgetで単に資格情報を渡すことができます。次のコマンドを使用してください。

 wget --ftp-username = USERNAME --ftp-password = PASSWORD

簡単にWgetを使ってインターネットからファイルをダウンロードする

あなたはインターネット上のどこからでもファイルをダウンロードするためにWgetを使うことができます。ただし、Wgetはほとんどの場合動作しますが、Wgetへのアクセスを妨げる特定のサーバーがあります。その場合は、Wgetコマンドの–user-agentを変更してみることができます。しかし、あなたがあなたがしていることを絶対に知らない限り、それは推奨される行動方針ではありません。ほとんどの場合、WgetはあなたがインターネットとそのURLにアクセスできる限り、あなたがインターネットから任意のファイルをダウンロードすることを可能にします。

それで、あなたはインターネットからファイルをダウンロードするのにWgetを使ったことがありますか？ Wgetを使用してHTTP、HTTPS、およびFTPプロトコルを介してファイルをダウンロードした経験について教えてください。また、他にもWgetの使い方がこのリストに含まれていると思う場合は、以下のコメント欄でそれらについて教えてください。