鸟哥数学堂 - 开课咯!!!!!

斷羽鳥

原帖由 tensaix2j 于 5-3-2008 11:21 AM 发表


MLP 是不是 bayesian network 的 一种 ？ 还是 他们真的很不同呢 ？

据我所知MLP不过是只一种神经网结构。就是它的topology。 Bayesian是指如何treat网内神经子与神经子之间的parameter／coefficient。对我来说，Bayesian神经网是指optimisation technique的一种， MLP是topology的一种。

tensaix2j

可以教我如何用 bayesian 的方法 在 mlp 上吗？
我只会 back-propagation 而已。

斷羽鳥

原帖由 tensaix2j 于 5-3-2008 11:34 AM 发表
可以教我如何用 bayesian 的方法 在 mlp 上吗？
我只会 back-propagation 而已。

教你一时间也很难说个明白。不过如果你是用MATLAB的话，可以看看MATLAB的neural net toolbox manual。还有他作者（忘了叫什么名）的textbook。Bayesian approach和BP approach比较的话，通常Bayesian的演算要快很多， 而且出来的network有比较好的generalization。BP的通常会有local optimisation的问题。

tensaix2j

好的。谢谢你的指教

~HeBe~_@

谢谢你~
斷羽鳥 兄

晨天

wahh
气象学高手
是不是那种观察晚昏（朝暮和霞暮）

好棒yehh
那样你是否会天文和玄术？？？

斷羽鳥

原帖由 晨天 于 5-3-2008 10:40 PM 发表
wahh
气象学高手
是不是那种观察晚昏（朝暮和霞暮）

好棒yehh
那样你是否会天文和玄术？？？

高手？ 以我酱的资历应该只属于初哥喔！
我没有观测朝暮和霞暮，我的专长是风暴和海气象－就是与海有关的自然现象。

我不会玄术。  天文 ? 。。。唔 。。。出了对流层以外就不是我的领域了。

tensaix2j

我还有 一个关于 神经网 的问题。。。

如果 我的 training samples 很不balance
例如  
90% 个 training samples 的 target output 是 1
10% 个 training samples的 target output 是 0

那么问题是 ，train 出来的 nn
以后 不论是不是 0， 它都讲 1

它都好像不怎么管它的 predictors，
那该怎么办呢。

斷羽鳥

原帖由 tensaix2j 于 6-3-2008 11:18 AM 发表
我还有 一个关于 神经网 的问题。。。

如果 我的 training samples 很不balance
例如  
90% 个 training samples 的 target output 是 1
10% 个 training samples的 target output 是 0

那么问题是 ，train ...

就是你的NN不够generalized。 我不懂你的variable是什么，很难给个准。不过是我的话，如果不从演算里generalize的话， 可能你可以用random sampling来试试看。就是从那９０％里随机抽样（with replication）say１０００个，再从１０％那里随机抽样（with replication）也是１０００个。Training的时候不要顺序，就是random permute你那２０００个样本。看看这方法能不能够generalize你的神经网。

tensaix2j

真的只能靠downsampling 而已吗？
如果 我那 10% 真的少的可怜的话，该怎么办呢


另外一个问题

我有 1000 个 predictors ，有些可能不是真的predictors
但 我要如何做才能知道哪些不是真正的predictors呢
要如何做 normalization 才是正确的做法？

[ 本帖最后由 tensaix2j 于 8-3-2008 12:40 AM 编辑 ]

斷羽鳥

原帖由 tensaix2j 于 8-3-2008 12:37 AM 发表
真的只能靠downsampling 而已吗？
如果 我那 10% 真的少的可怜的话，该怎么办呢


另外一个问题

我有 1000 个 predictors ，有些可能不是真的predictors
但 我要如何做才能知道哪些不是真正的predictors呢
...

老实说，我很难下个定论呢。因为我不知道你到底做的是什么样的一个问题。给我多点clue，少是多少，多是多多？predictand是什么variable？几个predictand？predictors又是什么？ANN是用什么algorithm training的？gradient－decent？LM？ simulated annealing？等等。  

只是，如果你所谓的１０００predictor是１０００predictor variables的话，你可能面对的是overfitting的问题。 你的network topology是什么？ 因为ANN里的weight数量不可以大过你的samples。不然你就失掉所有的degree of freedom。你那ANN记下所有的东西，它记得１多了，自然就会以为所有的answer都是１咯。

１０００predictor variable，肯定有redundancy。通常你必须做些PCA之类的dimension reduction过程。就是用正交涵数把１０００个predictor压缩成可能只有１０个。这十个predictor可能就包含１０００个原本predictor里大部分的variance。酱你就能把你ANN的weight数量减低。

不过我还是不太了解你的问题。只能从字面上猜。

tensaix2j

是 某某公司的 巨大 数据库。。
里面 有 1000++ 个columns ， 1 million 个rows

有两个原因 想做这个 datamining
一 是想 做 prediction system
二是 想找出 rejection 的原因
但 negative 的 samples 很少。

我只是做一个 普通的 mlp， 三个 layer， 用 bp 来调 weight。。。
hidden layer 有 150 个 nodes 。

[ 本帖最后由 tensaix2j 于 10-3-2008 01:33 PM 编辑 ]

斷羽鳥

原帖由 tensaix2j 于 10-3-2008 01:31 PM 发表
是 某某公司的 巨大 数据库。。
里面 有 1000++ 个columns ， 1 million 个rows

有两个原因 想做这个 datamining
一 是想 做 prediction system
二是 想找出 rejection 的原因
但 negative 的 samples 很少。 ...

哇 。。。好大的一个data mining呢！ 可能真的需要用一些dimension reduction来pre－process咯。 再不就试试看我说的 resampling 方法看看，没包成功。再不就换training method咯。感觉上resampling 应该能够帮到。


不过在我看来，如果真的已经知道rejection rate很小， 如果我要做prediction system的话， 我可能就只focus在那reject的samples，从那着手，找出它们和大部分的sample的不同之处。如果写一个script去比较１０００variables在reject和accept不同的分布。肯定可以缩小范围的。虽说data mining是从庞大的data里找出info， 但是在真正的应用，越预先了解你的data就更事半功倍。

tensaix2j

谢谢鸟哥。。

我正在努力了解PCA 中

~HeBe~_@

鸟哥， 我有事想求救。:
关于Grid convert 去 Cartesian coordinate,有什么好网站或software好介绍？

斷羽鳥

原帖由 ~HeBe~_@ 于 27-5-2008 07:28 PM 发表
鸟哥， 我有事想求救。:
关于Grid convert 去 Cartesian coordinate,有什么好网站或software好介绍？

不好意思，才看到。可以直接PM我嘛！
Anyway，是什么Grid啊？ 是不是 从一种coordinate system转换好另一种coordinate system的？ 是不是已经知道一个格点的coordiante，把所有格点以这个为relative， 谱上 coordinate啊？ grid是grid， coordinate 是coordinate哦，两种不同东西哦！

~HeBe~_@

原帖由 斷羽鳥 于 1-6-2008 12:49 PM 发表

不好意思，才看到。可以直接PM我嘛！
Anyway，是什么Grid啊？ 是不是 从一种coordinate system转换好另一种coordinate system的？ 是不是已经知道一个格点的coordiante，把所有格点以这个为relative， 谱上 coord ...

我是不好意思打扰鸟哥嘛。。。

~HeBe~_@

我想我有一点点idea了。。
谢谢， 鸟哥。
若有疑问再PM你。。