Monday, October 05, 2015

A parallel and fast way to download multiple files

We can write a short script to download multiple files easily in command, e..g

for i in X Y Z; do wget http://www.site.com/folder/$i.url; done

If we want them to run in background (so that in a pseudo-parallel way), we can use -b option for wget.

But this is still not fast enough, and the parallel with wget -b won't give me any notice once it's done.

Here is my solution: axel + parallel

parallel -a urls.file axel

Let's say I want to download all brain sample bigwig files of H3K4me1 marks from the Roadmap Epigenomics project. Here is the code:

mark=H3K4me1
> url.$mark # to generate an empty file
for i in E071 E074 E068 E069 E072 E067 E073 E070 E082 E081;
do 
  echo http://egg2.wustl.edu/roadmap/data/byFileType/signal/consolidated/macs2signal/pval/$i-$mark.pval.signal.bigwig >> url.$mark
done
parallel -a url.$mark axel -n 5 

Regarding what's axel and how fast it is comparing to wget, please refer to this link: http://www.cyberciti.biz/tips/download-accelerator-for-linux-command-line-tools.html

12 comments:

  1. If you have searched for one kind of driver or the other online, you may noticed that there are issues you will have to contend with. Get Into Pc

    ReplyDelete
  2. Great write-up, I am a big believer in commenting on blogs to inform the blog writers know that they’ve added something worthwhile to the world wide web!. http://www.getinntopc.com

    ReplyDelete
  3. I am a big believer in commenting on blogs to inform the blog writers igg games

    ReplyDelete
  4. It was nice unblock game . Very informative and expressive .things are easily play online at
    unblock games

    ReplyDelete
  5. When you finish analyzing your software list, and made the possible replacements sum up the license costs of the commercial apps you are not using anymore to see how much money you managed to save. Download Free PC Software

    ReplyDelete
  6. At you complete dissecting your programming list, What's more produced those could reasonably be expected displacements sumac those permit expenses of the business applications you would not utilizing any longer will see the extent to which cash you figured out how should spare.

    ReplyDelete
  7. this an amazing article....

    ReplyDelete

  8. Most companies use telephone interviews as part of their recruitment process to whittle down a pile of CVs into a manageable interview shortlist. Visit interviewguidance.com

    ReplyDelete

  9. Dear customer All of us suffer from problems at home difficult to solve and may pose a great danger to your life and life of those you love such as harmful insects dangerous, which threaten human life and the transmission of diseases and cause a lot of physical problems So provided theAl Manarah Company has all kinds of insects
    شركة تنظيف منازل بالرياض
    شركة تنظيف سجاد بالرياض
    شركة تنظيف بالرياض
    شركة تنظيف مجالس بارياض
    شركة مكافحة حشرات بالرياض
    شركة تنظيف مكيفات بالرياض
    عزيزي العميل عندما تنتقل من منزل لاخر وتحتاج ان تنقل عفش واثاث منزلك
    فعليك الاتصال بشركة متخصصة في خدمات نقل الاثاث والعفش لذلك شركة المناره افضل شركة نقل اثاث والعفش
    في ازي قومت بي نقل اثاث من مكان الي اخر فقوم بي اران علي شركه المنارة
    ليه خدمات المنزلية
    شركة نقل اثاث بالخبر
    ونحن سنكون سعداء جدا إذا تواصلت معنا لتنفيذ هذه المهمة مع ضمان كامل بسلامة الاثاث الخاص بك.
    شركة نقل اثاث بالقطيف
    نمتلك افضل عمالة مدربة علي نقل الاثاث والعفش
    لان وقد اصبحت فكرة نقل الاثاث متبلورة امام عينيك فلم يعد مطلوب منك سوى اخذ قرار والاتصال بشركة نقل عفش في الدمام مناسبة تقوم بتنفيذ تلك العملية لك
    شركة تنظيف بابها
    تقدم لقم شركة المنارة لتنظيف المنازل ولفلل ولشوقق ول اصار ول زجاج ول رخام شركه المنارة افضل شركه في دمام شركه المنارةتقدم عمل مميز وعمل جيد وشغل نضيف ونقدم لقم ناس تبزل جهد فل عمل وقل دا في اقصا وقت تتخيل شركة المناره تقدم العرود بي منسبت عيد الفطر
    شركة مكافحة حشرات بجازان
    شركة المنارة تقدم افضل عمل ومضرب علي المكافحه الحشرات وفريق عمل ومميز شركة المنارة لي رش المبيادات ورشق انمل البيض ول مكافحه الحشرات شركتنا تتميز عن بقي اشركه في ازي جات تعمل صيانا لي االمنزل فقوم علي زر التصال علي شركة المناره



    ReplyDelete