抓取蜂鸟网游记并且制作成PDF文档

　　周六,周日闲暇无事,但又想起了在外面野营时,不能上网时的尴尬.

　　我喜欢蜂鸟网的游记,但又没有网卡在野外冲浪,也是一种无奈!如果能把蜂鸟网站上的精品游记能够随时随地翻阅是一件多么牛B的事情呀.

　　于是说干就干,只为了在使用掌上电脑时开合手指放大图片,或者看图片的同时了解下照片的信息.

　　写了几个抽象类.

　　1)craw page in *.fengniao.com

           |--->Filter is http://bbs.fengniao.com/forum/(.*).html　　

          有效结果放在一个文本里比如d:\\test.txt

           why not save in db?(like mongodb).

           bacause of it is a toy.ohh[img]/images/smiles/icon_redface.gif" alt="[/img]

      2)read file from d:\\test.txt in List


　　　private ArrayList fengNiaoModelLists = new ArrayList();




      3)for (int i=0;i.size;i++){

                //抓取所有网页.

　　　　　crawDataAndParse(String crawURL)

　　　　　//说明,我的做法是,先读取第一页,把原作者,游记的标题,总页数　做为一个全局变量　


　　private int maxPage = 0;

　　private String originalAuthor = "";// 原作者

　　private String travelTitle = "";// 游记标题

　　　　　//然后根据规则取得第二页,第三页.....到最后一页.

　　　　　//审查规则如下:

　　　　　//1.必须原作者

　　　　　//2,删除原作者的回复贴,专注有效页

　　　　　//3,删除原作者字数不超过20字符且没有图片的记录


　　　　//创建PDF文件

　　　　createPDF(List fengNiaoModelList, int partId);

            //其中partId表示分开的PDF文件,因为有些游记很大,所以呢,分开了.

　　　　//几个设计点

　　　　//1,做了封面,其中包括7个随机图片的组合,跟Facebook上的一样.

　　　　//2,抓取蜂鸟网的图片,要用代理进行欺骗,否则会抓到的图片都是蜂鸟网的LOGO

　　　　//3.PDF的制作上,很废功夫

　　　　//　3.1　图片大小如下:

　　　　　　　　image.scaleToFit(560, 400);

　　　　　　　　因为是横排方式,788为总长度,559为高度,所以图片很大,所以文字说明在图片的右边.以小段(36个字符)　　　　　　　　　的方式排列.

　　　　　　　　但是下面还有559-400的长度,所以,我又在下面放了很长的大段文字(125个字符)


         }


        使用如上方法,反复测试,终于得到了我想要的效果.


　　　附件当中是我抓取的结果,大家欣赏一下.呵呵.

　　　我以后会把文档发送到一些文档库当中去,但是每个游记part都有40多M,哪个文档库好呢?


　　　如下是我在豆丁网发布的PDF文档，呵呵

[游记]抚仙湖水在荡漾[part1]V1.00
[游记]川西四千里[part5]V1.00
[游记]冬季到台北去看雨[part1]V1.00
[游记]北京房山猫耳山[part1]V1.00
[游记]北京房山猫耳山[part2]V1.00
[游记]洛阳天子驾六博物馆[part1]V1.00
[游记]西藏10日游纪行[part2]V1.00
[游记]金色的喀纳斯[part3]V1.00
[游记]金色的喀纳斯[part4]V1.00
[游记]闲下来逛逛云南[part5]V1.00
[游记]宝岛台湾[part1]V1.00
[游记]西沙群岛深度行摄[part1]V1.00
[游记]美丽的香格里拉[part1]V1.00
[游记]美丽的香格里拉[part2]V1.00
[游记]在圣岛遇到一位卖Pita的老外[part1]V1.00
[游记]在圣岛遇到一位卖Pita的老外[part2]V1.00
[游记]在圣岛遇到一位卖Pita的老外[part3]V1.00
[游记]在圣岛遇到一位卖Pita的老外[part4]V1.00
[游记]在圣岛遇到一位卖Pita的老外[part5]V1.00
[游记]澳洲风光片[part1]V1.00
[游记]—暮色海滨—[part1]V1.00
[游记]—暮色海滨—[part2]V1.00
[游记]北京4日收获[part1]V1.00
[游记]北京的云[part1]V1.00
[游记]第61届世界泳装环节 [part1]V1.00
[游记]第61届世界泳装环节 [part2]V1.00
[游记]北京今天又下了一场大雨[part1]V1.00
[游记]一个人的路[part2]V1.00
[游记]近两年拍的一些照片去掉颜色露真容[part1]V1.00
[游记]近两年拍的一些照片去掉颜色露真容[part2]V1.00
[游记]水墨宏村[part1]V1.00
[游记]黄山及黄山市散拍[part1]V1.00
[游记]西藏10日游纪行[part2]V1.00
[游记]洛阳天子驾六博物馆[part1]V1.00
[游记]近两年拍的一些照片去掉颜色露真容[part2]V1.00
[游记]近两年拍的一些照片去掉颜色露真容[part1]V1.00
[游记]2012[part1]V1.00
[游记]性感尤物[part2]V1.00
[游记]轻纱薄裙[part1]V1.00
[游记]以毒攻毒[part1]V1.00
[游记]这么一起走完吧[part5]V1.00
[游记]这么一起走完吧[part4]V1.00
[游记]这么一起走完吧[part3]V1.00
[游记]这么一起走完吧[part2]V1.00
[游记]狐尘日记热浪岛物语[part3]V1.00
[游记]狐尘日记1[part2]V1.00
[游记]2012北京国际车展美女模特大扫荡[part1]V1.00
[游记]北京国际摄影器材展[part2]V1.00
[游记]中俄狂舞争霸赛[part2]V1.00
[游记]中俄狂舞争霸赛[part1]V1.00
[游记]柳莺专辑[part1]V1.00
[游记]柳莺专辑[part2]V1.00
[游记]燕子结婚啦[part1]V1.00
[游记]燕子结婚啦[part2]V1.00
[游记]新娘[part2]V1.00
[游记]新娘[part1]V1.00
[游记]麦克先生[part2]V1.00
[游记]多彩贵州[part1]V1.00
[游记]愈崎岖[part1]V1.00
[游记]愈崎岖[part2]V1.00
[游记]多彩贵州[part2]V1.00
[游记]2012深圳内衣展[part1]V1.00
[游记]2012深圳内衣展[part2]V1.00
[游记]云南束河古镇沿途风光[part1]V1.00
[游记][希威社]翡翠岛海景人像活动[part1]V1.00
[游记]洪湖公园拍美女[part1]V1.00
[游记]美女人像集锦[part2]V1.00
[游记]拍摄路边的野花[part1]V1.00
[游记]拍摄路边的野花[part2]V1.00
[游记]雨中芍药和月季[part2]V1.00
[游记]雨中芍药和月季[part1]V1.00
[游记]峡谷风云[part2]V1.00
[游记]峡谷风云[part1]V1.00
[游记]专业参观卷[part2]V1.00
[游记]专业参观卷[part1]V1.00
[游记]柬埔寨杂记[part5]V1.00
[游记]柬埔寨杂记[part2]V1.00
[游记]柬埔寨杂记[part4]V1.00
[游记]柬埔寨杂记[part3]V1.00
[游记]人间仙境[part1]V1.00
[游记]仙人球花开记录[part1]V1.00
[游记]又是一年赏荷季[part1]V1.00
[游记]芭比布朗形象艺术发布会[part1]V1.00
[游记]韩国仁川机场巧遇韩国美丽的“公主”[part1]V1.00
[游记]迷失[part1]V1.00
[游记]我家门前有条北斗河[part1]V1.00
[游记]人像人文与社会纪实[part1]V1.00
[游记]2011年张学友世纪演唱会[part1]V1.00
[游记]史家背河村的[窑洞][part1]V1.00
[游记]丰台榆树庄公园游拍[part1]V1.00
[游记]只为那飘渺的一梦[part1]V1.00
[游记]只为那飘渺的一梦[part2]V1.00
[游记]三清山旅游第一天[part1]V1.00
[游记]三清山旅游第一天[part3]V1.00
[游记]2012拍鸟[part2]V1.00
[游记]2012拍鸟[part3]V1.00
[游记]上帝打翻了调色板[part1]V1.00
[游记]上帝打翻了调色板[part2]V1.00
[游记]凤凰花开红似火[part2]V1.00
[游记]植物园里的月季花[part2]V1.00
[游记]植物园里的月季花[part1]V1.00
[游记]凤凰花开红似火[part1]V1.00
[游记]婺源赏花斿[part3]V1.00
[游记]婺源赏花斿[part2]V1.00
[游记]婺源赏花斿[part1]V1.00
[游记]铁手都是噜出来的[part3]V1.00
[游记]铁手都是噜出来的[part2]V1.00
[游记]铁手都是噜出来的[part1]V1.00
[游记]苗圃杂拍[part1]V1.00
[游记]苗圃杂拍[part3]V1.00
[游记]掠影欧洲[part1]V1.00
[游记]掠影欧洲[part2]V1.00
[游记]掠影欧洲[part3]V1.00
[游记]掠影欧洲[part4]V1.00
[游记]北京车展1[part3]V1.00
[游记]北京车展1[part2]V1.00
[游记]北京车展1[part1]V1.00
[游记]寻梦天堂自由行[part9]V1.00
[游记]寻梦天堂自由行[part8]V1.00
[游记]寻梦天堂自由行[part7]V1.00
[游记]寻梦天堂自由行[part5]V1.00
[游记]寻梦天堂自由行[part4]V1.00
[游记]寻梦天堂自由行[part1]V1.00
[游记]寻梦天堂自由行[part3]V1.00
[游记]有个女孩叫小歪[part1]V1.00
[游记]有个女孩叫小歪[part3]V1.00
[游记]有个女孩叫小歪[part2]V1.00
[游记]两个美女同事[part3]V1.00
[游记]两个美女同事[part2]V1.00
[游记]两个美女同事[part1]V1.00
[游记]睡衣MM[part1]V1.00
[游记]睡衣MM[part2]V1.00
[游记]让我们的爱在山那边绽放[part1]V1.00
[游记]让我们的爱在山那边绽放[part2]V1.00
[蜂鸟游记]行摄莫斯科金环[part5]V1.00
[蜂鸟游记]行摄莫斯科金环[part6]V1.00
[蜂鸟游记]行摄莫斯科金环[part7]V1.00
[蜂鸟游记]行摄莫斯科金环[part8]V1.00
[蜂鸟游记]行摄莫斯科金环[part4]V1.00
[蜂鸟游记]行摄莫斯科金环[part3]V1.00
[蜂鸟游记]行摄莫斯科金环[part2]V1.00
[蜂鸟游记]行摄莫斯科金环[part1]V1.00
[蜂鸟游记]丽江、泸沽湖、香格里拉14天行摄[part4]V1.00
[蜂鸟游记]金色的喀纳斯[part5]V1.00
[蜂鸟游记]金色的喀纳斯[part2]V1.00
[蜂鸟游记]金色的喀纳斯[part1]V1.00
[蜂鸟游记]富阳东吴文化公园随拍[part1]V1.00
[蜂鸟游记]三亚海滩外拍[part1]V1.00
[蜂鸟游记]云南泸沽湖，摩梭风情[part2]V1.00
[蜂鸟游记]武器的坟场[part1]V1.00
[蜂鸟游记]日系小魔女之雕刻时光外拍[part1]V1.00
[蜂鸟游记]美丽双廊（缓慢上图，持续更新）[part2]V1.00
[蜂鸟游记]王府井随拍[part1]V1.00
[蜂鸟游记]丽江、泸沽湖、香格里拉14天行摄[part5]V1.00
[蜂鸟游记]丽江、泸沽湖、香格里拉14天行摄[part3]V1.00
[蜂鸟游记]牛背山大美之景[part4]V1.00
[蜂鸟游记]牛背山大美之景[part3]V1.00
[蜂鸟游记]牛背山大美之景[part2]V1.00
[蜂鸟游记]牛背山大美之景[part1]V1.00
[蜂鸟游记]日本关西地区周游记 大阪 京都 神户[part3]V1.00
山西风景点评
[蜂鸟游记]西沙群岛深度行摄[part1]V1.00
[蜂鸟游记]最后的洞穴部落[part2]V1.00
[蜂鸟游记]【自由行】寻梦天堂---马尔代夫印象[part3]V1.00
[蜂鸟游记]【鸭绿江公园】[part2]V1.00
[蜂鸟游记]【鸭绿江公园】[part1]V1.00
秦皇岛风光录[part11]V1.00
秦皇岛风光录[part13]V1.00
秦皇岛风光录[part12]V1.00
秦皇岛风光录[part8]V1.00
秦皇岛风光录[part7]V1.00
秦皇岛风光录[part5]V1.00
秦皇岛风光录[part4]V1.00
秦皇岛风光录[part3]V1.00
秦皇岛风光录[part1]V1.00
我和新疆有个约定[part2]V1.00
我和新疆有个约定[part3]V1.00
我和新疆有个约定[part4]V1.00
我和新疆有个约定[part5]V1.00
我和新疆有个约定[part6]V1.00
我和新疆有个约定[part10]V1.00
我和新疆有个约定[part11]V1.00
我和新疆有个约定[part12]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part3]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part9]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part11]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part23]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part25]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part32]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part34]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part33]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part37]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part38]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part43]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part46]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part49]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part50]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part51]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part55]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part62]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part67]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part71]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part76]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part77]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part85]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part90]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part94]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part97]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part102]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part57]V1.00
[蜂鸟游记]2006走遍中国（完整版）陆续上片[part5]V1.00
[蜂鸟游记]览钟山，泊秦淮[part1]V1.00
[蜂鸟游记]万里行摄大美新疆[part1][2012-05-07]