怎样模拟百度蜘蛛抓取页面?

  • A+
所属分类:SEO

    百度蜘蛛是可以模拟出来的,很多工具都可以。为什么今天写这个东西?今天看网站日志的时候,发现一个比较有趣的现象,猜测可能是有黑客在扫描我的网站的漏洞。

    218.83.161.18 - - [28/Nov/2012:15:36:34 -0500] "GET /Up_BookPicPro.asp HTTP/1.1" 404 9949 "http://www.domain.com/www.domain.com" "Mozilla/4.0 (compatible; +Baiduspider/2.0;++http://www.baidu.com/search/spider.html +Googlebot/2.1;++http://www.google.com/bot.html)"

    能够看懂网站日志的应该了解搜索引擎蜘蛛的爬行记录是怎样的。上面这行代码还真是让人有些无语。网站是PHP的程序,扫描asp漏洞的话应该是不可能找到的。不过这也提醒站长,黑客的手法还是有迹可循的。站长一定要注意到自己站点的安全问题,有不少的站点被黑了,站长都不知道呢,尤其是一些企业站。

    哦,模拟百度蜘蛛的软件,我用‘网站整站下载器’模拟过。其他的工具应该还有不少,可以去找一下。

    作为一名SEO,其实要了解的东西非常的多,记得在最初的时候,觉得SEO也没什么,发文章、发外链、换友链,就这点事嘛。大多数的新手SEO都是这样认为,我也曾经这样认为。不过随着瓶颈的突破,发现SEO里面需要了解的东西真的太多了。比如建站,比如网站日志的查看等等。

    所以建议SEO新手朋友,一定要有一个属于自己的网站,将曾经接触过的SEO的一些技巧,都使用一遍,再加以学习更加深入的东西,这样才能够提升自己。

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:9   其中:访客  9   博主  0

    • 董浩 董浩 9

      支持了

      • 5折网购频道 5折网购频道 6

        我网站也经常有白痴的黑客扫asp,每次我看到都笑死,心想:这个傻帽。。。

        • 手持pos机 手持pos机 1

          还真是应该多注意
          要细心了

          • 我的名字叫麒 我的名字叫麒 1

            这方面了解太少了!看来要加强!

            • 天津公积金提 天津公积金提 9

              这个还真是搞不懂呀

              • qsmoon qsmoon 0

                我的站每次蜘蛛爬过 都是一大片的404,但页面其实是打的开的,我一直没找到原因,博主能指点一二吗?额,我怕审核不过,把站名换了

                  • 李鸣 李鸣 9

                    @qsmoon @qsmoon:额,这要好好研究一下你的网站日志了,你这样说也说不明白。另外,你这个域名之前是个老域名,也可能有一定的关系。

                  • 互动seo 互动seo 9

                    我想搞个淘宝客,空了你和嫂子得技术支持下,哈哈