Replace Pioneer Home   All Examples   Free Download

 New request --free  RSS: Replace Pioneer Examples

1022.Batch download -- How to download all the html articles from a website?

User: Aaron Allan -- 2012-11-03          << 1021  1023 >>
Hits: 3298
Type: Batch download   
Search all Batch download examples
Description:
I would like to download all the html articles from this site by either:

1. Saving each html article to the correct folder eg. SampleGroup1\FreeArticle1.html etc.


or

2. Savings all html articles to a single folder
Input Sample:
1. Main page: http://freejunk.com

Contains about 300 article headings. Click on one for example and you go to:

2. http://freejunk.com/SampleGroup1

This contains a list of all articles under this heading. Click on a title and you go to that html article.

3. http://freejunk.com/FreeArticle1.html

Notice that the heading in number 2 is not included in the path for the article. This is the same for all headings and articles. Copy and pasting of article is allowed.
Answer:
Hint: You need to Download and install "Replace Pioneer" on windows platform to finish following steps.
With following steps, you are able to download html from the website with 2 level depth:
1. Open Tools->Batch Runner menu
2. Click "Extract Links" button
(1) set "File Type Filter" to: 
(2) check Option of "Extract 1 level deeper for link type" option
(3) enter your website in the following web page 1/2/... entry
3. click "Extract" button, and click "Close" after extract option is done
4. you can right click the mouse on the list, and select "remove duplicate input" menu to avoid downloading duplicated html files
5. check option of "Change output folder" option, and enter an output folder in the following entry.
6. click "Copy/Download" buton, done.

Similar Examples:
How to download all html pages with images on some website? (77%)
How to download all html and jpg files listed in a webpage? (73%)
How to batch download a group of files in a website? (69%)
How to batch download all rar and zip files from a webpage? (67%)
How to download all jpg files from the second level webpages? (63%)
How to download image files from a serial of html pages? (60%)
How to extract all html address from a text file? (58%)
How to download all webpages that linked from homepage? (56%)

Check Demo of Batch download
Keywords:
level deeper  loading  free  level  avi  file type filter  website  extract links button  download html  duplicated  download all articles of a website  download all articles  download articles from a website  remove website  remove after html  download website  html remove link  extract website