网页Web Robot

Jiro90

我在学习研发网页。 使用的是php。发现了 web robot，但是不太了解 web robot 的运用。请各位高手指点。

stephen_88

seo这东西要花蛮多时间研究的

Jiro90

stephen_88 发表于 20-3-2013 01:02 PM
seo这东西要花蛮多时间研究的

是否有任何可以介绍的网址作为参考？

stephen_88

Jiro90 发表于 21-3-2013 09:46 AM
是否有任何可以介绍的网址作为参考？

只有google有那些解说
至于参考真的很少网站有....

Jiro90

我有找到这个网站 http://www.user-agents.org/ 。
里面有包括：
1）B = Browser
2）C = Link-, bookmark-, server- checking D = Downloading tool
3）P = Proxy server, web filtering
4）R = Robot, crawler, spider
5）S = Spam or bad bot
但我不知道如何用。

西门庆33

Jiro90 发表于 21-3-2013 09:46 AM
是否有任何可以介绍的网址作为参考？

现在设计网页都用CMS了。比如我用Joomla设计自己的网页，都不用研究什么是web robot或者SEO，joomla里许多的免费extension都帮你解决了。

kongof

我只知道，用了robot，你的files在google search result里，就不能被找到了，even找到，也不能browse了，这大多是用来protect web host里的文件较多

durianhost

通常是一些大的搜索网站（google, yahoo等）做的robot，也叫crawler或spider，要搜集更多地网站在他们的资料库存里。

所以，你可以在你的网站http://www.example.com/robots.txt 控制这些robot的活动范围，或者不给予他们游览任何一页。

当然，这些是比较听话的robot，有些坏蛋的robot就不会管你的robots.txt里的instruction了。因为他们要攻击你嘛~~~

更深入就到http://www.robotstxt.org/ 看看