顯示具有 Python 標籤的文章。 顯示所有文章
顯示具有 Python 標籤的文章。 顯示所有文章

2015年2月19日 星期四

Python 小說抓抓 第一天

小說成癮的我,每每覺得要下載一篇小說繞來繞去,而且還得找很多大陸小說網非常痛苦;很久以前就知道有爬蟲的存在,在此介紹我製作小說爬蟲的過程,完整的程式碼我就不貼上來了(怕有小說版權等等問題產生)。

在使用 Python 之前我有試著使用 JavaScript ,本來是想說順便學學 Node.js 的使用,但是架站真的是太困難了以此作罷,但是 JavaScript 真的是不錯的爬蟲工具,不到50行就能輕鬆抓到我要的小說了(等我搞懂 Node.js 再來 po 吧...),因此就選擇 Python 了!!

事前準備:
  1. Python 2.7
  2. 某個準備很多小說的網站
開始!!

網路上很多關於爬蟲的 Python 程式,google 前一兩個的內容就不錯了,主要差別就是兩個:
  1. 連線問題
  2. html 分析

v0.0.1 第一行主要是 python 檔案內部的編碼,在 Python 2 這段是很重要的,如果不寫的話...(XDD)。至於 pyquery 要另外安裝,window 步驟有點麻煩,有 easy install 的話就簡單許多;連線的部分,不使用 v0.0.2 的方法是有原因的,很多網站都有防制非人訪問,因此使用 v0.0.2 在某些網站是不行的。在 v0.0.1 最後一行,就可以獲得 html ,也就是之後需要分析的主要部分。

至於 html 就像是 連結 一樣,需要從其中的 class 或者 id 來把小說文章分析出來,這一章大概就寫到這裡!!


2014年12月9日 星期二

coursera, An Introduction to Interactive Programming in Python 一些心得

  可能會不定期的把我在 coursera 上過的 An Introduction to Interactive Programming in Python 的心得打出來,雖然只是九周的課程,但學習上真的很有趣 (後面幾周的練習作業真的難到爆 Orz )。
  coursera 的互評系統真的是很棒的設計,尤其是對於程式這方面,很多人都有特殊的創意,精煉的寫法都是值得參考的,相對於期中期末考的形式,這樣的評分方式相對學習較好;也有的把程式撰寫的部分擺到 OpenJudge 上,這部分我真的覺得不是很好,雖然能夠把遇到的問題貼到討論區來討論,感覺上就只是單單解決個人問題,很多時候寫完程式,看到獲得分數後,很少有人會再度去重寫兩三遍,來多次練習,但互評系統,卻可以用不同人的角度,去思考相同的問題,進而瞭解學習其中的變化。在此對互評系統做個人小小的讚賞以及評論!!

  Python 真的很奇妙(會用奇妙來解釋,可能是我的能力還不夠XD ), C / C++ 是我先接觸的語言,兩者都有優缺點,在我的角度來看就是 C / C++ 很實用, Python 很有趣(可能是課程給我的映象吧XD ),在 String 上 Python 讓我有不同於 C / C++ 的思考層面!!
  
  正式進入 Python 內容!!

  萬事起頭難, Python 由於是直譯式語言,所以相對入手較快,個人認為 Python 的資料類型,以及縮排問題需要特別注意!! 課程上 Python 是使用 2.7 的版本,作業繳交是使用 codeskulptor 來繳交, codeskulptor 可以透過網址的方式來繳交以及分享作業,如果想要在自己的電腦裡跑 Python 那就得到 Python 官網下載。


  上圖是電腦安裝完 Python 2.7.6 版後,執行 command line 的畫面,可以從上面看到,顯示版本號 2.7.6 的字樣。

  Mini-project # 0 - "We want.. a shrubbery!" 這個作業非常簡單,顯示 We want... a shrubbery! 的字串,而 Quiz 0 也十分容易,考題需要特別注意:

  1. 宣告以及附值方式
  2. 括號的使用
  3. 變數名稱的規定
  4. 檔案的副檔名為何
  5. 關於 codeskulptor 的介紹
以上幾點,看完影片之後就能很好的回答,至於以後的 Mini-project 和 Quiz 如果題目有趣的話,會特別分享出來!!