دستوراتلینوکس

آشنایی کامل با دستور Wget در لینوکس

Linux wget command

دستور Wget : یکی از دستورات پیش فرض موجود بر روی تمامی نسخه های لینوکس بوده و نیازی به نصب ندارد و با استفاده از آن میتونید به راحتی در محیط خط دستور لینوکس به دانلود فایل بپردازید.

زمانی پیش میاد میخوایم فایلی رو دانلود کنیم یا به طور ساده از یک سرور دیگه فایل رو انتقال بدیم به سرور خودمون. راحت ترین روش استفاده از دستور Wget هست.

دانلود یک فایل منفرد

$ wget www.example.com/file.zip

دانلود تمام فایل های موجود یک وب سایت wget -r

$ wget -r http://www.example.com

دانلود فایل ها با پسوند خاص با استفاده از wget -r -A

$ wget -r -A png,pdf http://www.example.com

دانلود فایل ها در Background سرور با استفاده از wget -b

برای دانلود فایل های بزرگ ، فرآیند دانلود رو با استفاده از wget -b در background قرار بدید :

$ wget -b /wget/log.txt http://www.example.com/file.iso

دانلود چند فایل به طور همزمان با استفاده از wget -i

ابتدا به مسیری که قراره فایل های دانلود شده در اونجا ذخیره بشن میریم و یک فایل با نام links.txt ایجاد میکنیم و لینک دانلود همه فایلها را داخلش مینویسیم ، هر لینک باید در یک خط باشه.

$ wget -i links.txt

دانلود کامل سایت با استفاده از wget --mirror

مواقعی پیش میاد که ما میخواهیم کل یک سایت رو دانلود کنیم، این عمل mirror نام داره که برای استفاده ی mirror در wget باید از دستور زیر استفاده کنید:

$ wget --mirror -p --convert-links -P ./LOCAL-DIR http://www.example.com/

mirror-- : تمام آپشن های مناسب برای mirroring رو فعال می کنه.
p- : تمام فایل های لازم برای نمایش صحیح صفحات HTML رو دانلود می کنه.
convert-links-- : بعد از اتمام دانلود ، لینک ها رو برای استفاده ی محلی به سند تبدیل میکنه
P ./LOCAL-DIR- : تمام فایل ها و دایرکتوری ها رو در دایرکتوری مشخص شده توسط کاربر ، ذخیره می کنه.

محدود کردن سرعت دانلود فایل با استفاده از wget --limit-rate

برای اینکه سرعت رو در wget محدود کنید مثلا بگید با سرعت 20 kb/s فایل رو دانلود کنه از دستور زیر استفاده کنید:

$ wget --limit-rate=20k http://example.com/file.zip

ماسک زدن به wget با استفاده از wget --user-agent

بعضی از سایت ها به گونه‌ای تنظیم شدن که وقتی تشخیص بدن ما از مرورگر استفاده نمیکنیم اجازه دانلود رو به ما نمیدن.در این صورت شما می تونید با کمک گرفتن از wget --user-agent به wget ماسک بزنید و اون رو به صورت یه مرورگر نشون بدید و براحتی فایل رو دانلود کنین:

$ wget --user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1" http://example.com/file.iso

در دستور بالا ما از مرورگر فایرفاکس نسخه 40.1 استفاده کردیم . میتونید از مرورگر های دیگه مثل کروم هم استفاده کنید که میتونید لیست کامل مرورگرها به همراه نسخه های مختلف رو در این سایت مشاهده کنید.

 

رفع محدودیت حجم دانلود با استفاده از wget -c

توجه داشته باشید که Wget تا 1.5 گیگ محدودیت داره و بعد از اون دانلود فایل متوقف میشه.

برای رفع این محدودیت از این دستور استفاده کنید:

$ wget -c http://www.example.com/file.zip

تست URL با استفاده از wget --spider

با استفاده از دستور wget --spider میتونید از سالم بودن لینک اطمینان حاصل کنید.

$ wget --spider http://www.example.com/file.zip

اگر URL بدون مشکل باشه ، عبارات زیر به نمایش در میان:

$ wget --spider http://www.example.com/file.zip
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Remote file exists and could contain further links,
but recursion is disabled -- not retrieving.

اما اگر URL وارد شده دارای اشکال باشه اونوقت جملات زیر در خروجی قرار می گیرن:

$ wget --spider http://www.example.com/file.zip
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 404 Not Found
Remote file does not exist -- broken link!!!

افزایش تعداد رفرش ها با استفاده از wget --tries

اگر در اتصال اینترنت مشکلی داشته باشه و یا حتی فایل مور نظر حجم بالایی داشته باشه ، احتمال شکست دانلود افزایش پیدا میکنه.به طور پیش فرض wget ، بیست بار دانلود رو refresh میکنه تا بالاخره دانلود انجام بشه.
در صورت احتیاج ، میتونید با استفاده از دستور wget --tries تعداد این رفرش ها رو بالا ببرید.

$ wget --tries=75 http://www.example.com/file.iso

عدم دانلود یک نوع فایل معین با استفاده از wget --reject

فرض کنید میخواید یه سایت رو کامل دانلود کنید ولی نمیخواید عکس ها دانلود بشن . اینجا هست که باید از دستور wget --reject استفاده کنید . با استفاده از این دستور میتونید مانع دانلود فایل ها با پسوند های مختلف بشید . به مثال زیر دقت کنید:

$ wget --reject=png,jpg,gif http://www.example.com/

لیست کامل دستورات wget

میتونید اطلاعات و دستورات بیشتر رو با دستور زیر مشاهده کنید.

$ wget -help

 

حال نوبت به نظرات شما می‌رسد. به غیر از این دستورات، چه دستورات مهم دیگری می‌شناسید که از قلم افتاده‌اند؟
نظرات و دیدگاه‌های خود را با ما و سایر کاربران آی آر کرکر به اشتراک بگذارید.

برچسب ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

1 × 2 =

بلوک تبلیغ حذف شد

Please consider supporting us by disabling your ad blocker