关于Web 2.0 平台

robitech9

想請問各位師父...

我想 develop web2.0 平台，这平台能让我 (example):
- display new added friends in Friendster
- display new matching job in Jobstreet
- display new mail in gmail

就好像 igoogle，可以 Personalized any widget you want..

而我的問題是要::
1) 如何从这些网站拿到我需要的資料呢?
2) 如果这些网站沒提供API or Web Services or RSS Feeder 呢?
3) 有任何的 Good solution 分享嗎?

tensaix2j

如果这些网站沒提供API or Web Services or RSS Feeder，
那你就只好 screen scrap 咯。如果可以的话，找它的 archiver 会比较少垃圾给你scrap

就好象 cari 现在没有 rss
http://chinese2.cari.com.my/myforum/rss

但有 archiver
http://chinese2.cari.com.my/myforum/archiver/?fid-112.html

如果再 没有。。。
那 bo bian 咯。。
html 慢慢 parse 。。。

robitech9

想知道你是怎知道 Cari 會有Archiever 的?  

Let say, 我想要::
1) Bursa Malaysia http://www.bursamalaysia.com 的 latest stock price
    只有抓HTML parse?
2) Jobstreet latest matching job
    我需要login 然後用HTML parse?

有更好的Solution 嗎? 前提是沒有 web services, RSS and API...

robitech9

有什麼办法呢?

goatstudio

Mircosoft .Net 里有一个 WebRequest 的方法，可以用来抓取这些网页。PHP 也有相同的方法。

tensaix2j

羊 老大， 好久 不见！！

我估计 楼主 已经 正在 用着 web request 的东西去request那些东西 只是 别人的server 丢回来的response 是 很多杂物的 html 。。
因为 没有 rss 或 其它 比较容易 parse的东西

所以 我也在想有什么更好的方法。因为 我也想 挖 家礼的 一些东西。。


P、S 得空去 灌水贴交流一下

苦瓜汤

Ruby的我倒是知道一个

hpricot

用法简单，

1. require 'hpricot'
   
2. require 'open-uri'
   
3. 
   
4. doc = open("http://www.google.com"){|h| Hpricot(h) }
   
5. puts (doc/"html/title")
   
6. #=><title>Google</title>
   
7. 
   
8. doc.search("a") {|link| puts link.get_attribute("href") } #print all hyperlink url

复制代码

但是大部分网站有声明内容是禁止转载的，慎用。

goatstudio

原帖由 tensaix2j 于 2-2-2008 01:30 AM 发表
羊 老大， 好久 不见！！

我估计 楼主 已经 正在 用着 web request 的东西去request那些东西 只是 别人的server 丢回来的response 是 很多杂物的 html 。。
因为 没有 rss 或 其它 比较容易 parse的东西

所以 ...

好久不见。。。
是没办法的。。。WebRequest 了之后肯定要一层层那样来 “剥皮”。。。

robitech9

沒办法，目前也只能用 Web Request 了。