安徽互聯(lián)網(wǎng)聯(lián)盟(ahunion.org)主辦的站長講座不知不覺到了第十二期兩個角度入手。上期的講座獲得了眾多參與站長很高的贊譽也讓更多的站長積極的加入到講座群內(nèi)來建強保護，目前在國內(nèi)最知名的網(wǎng)站采集軟件肯定就似乎火車頭采集器(locoy.com)了，火車采集器(LocoySpider)是一個功能強大的數(shù)據(jù)采集軟件.使用它生產效率，您可以很容易的從網(wǎng)頁上抓取文字真正做到，圖片，文件等資源.目前是國內(nèi)使用率最高的網(wǎng)站采集軟件創新延展，前不久剛推出了2009的最新版強化意識，深受廣大站長的喜愛。由于該采集器的創(chuàng)始人李進斌正好是安徽老鄉(xiāng)基本情況，前不久去年底的安徽站長聚會上有過合作現場，所以李兄很爽快的就答應(yīng)了老K我來和站長朋友們聊聊，由于李兄是技術(shù)出生打字速度不快力量，所以在算算的一個半小時內(nèi)說的內(nèi)容不太多我有所應，但是非常精辟提單產，大家看了便明白了，希望能給諸位站長帶來幫助短網(wǎng)址生成至關重要。由于講座主群已滿 新到站長可加直播群：47744157進行專題講座 我們隨時會T從來不發(fā)言的站長 讓更多想學習的站長進來發展空間。

　　一、談火車頭采集器的由來

　　火車頭：我們的這個采集器最早是從05年底開始有這個想法的有所應，當時也是和大家一樣足了準備，個人站長，添加管理維護網(wǎng)站很辛苦著力提升，一篇篇修改復(fù)制發(fā)布最開始也是接觸dede 然后發(fā)現(xiàn)他有個外部的c#采集器深刻內涵。不知道有多少人也記得，我的思路基本是從這個dedespider學來的融合，原來真的不懂什么深入闡釋，到后來學會php和.net,所以只要大家有興趣，技術(shù)上的問題都可以克服完成的事情，講到現(xiàn)在的采集物聯與互聯，其實采集只能替代站長部分手工的操作。我們不建議大規(guī)模得制造垃圾站(全盤得采集復(fù)制別人的站點)改造層面，所以我們現(xiàn)在的軟件的功能越做越多紮實，但新用戶缺越來越不會用了。

　　我們現(xiàn)在有一批很忠實的會員重要作用，他們一直在靠采集器更新網(wǎng)站。迅速的采集然后百度搜錄帶來巨大的流量的時代已經(jīng)不在最為顯著，站長還是要關(guān)注內(nèi)容尤為突出，靠采集器采集的數(shù)據(jù)一樣要注意，前期只能做為一個數(shù)據(jù)填充環境，可以稍微大的空間載體。但時間長了，目標就要把垃圾數(shù)據(jù)也要變成精品相對簡便，否則做不長久

　　二重要組成部分、關(guān)于采集網(wǎng)站的經(jīng)驗

　　火車頭：我們現(xiàn)在在更新這個采集器，在數(shù)據(jù)采集方面也積累了一些經(jīng)驗合作，增加更多功能以適應(yīng)新形式下的采集

　　1.別人經(jīng)常采的網(wǎng)站不要去采

　　2.太容易采的網(wǎng)站不要去采

　　3.不要一次性采集太多勃勃生機，一定要注意后期處理(后面詳續(xù))

　　4.做好關(guān)鍵詞，tag的采集分析

　　5.自己網(wǎng)站要有自己的定位極致用戶體驗，不采與自己網(wǎng)站無關(guān)的內(nèi)容

　　6.采集也要有持續(xù)性提供有力支撐，經(jīng)常更新，自動采集功能我們也有建議，但還是建議大家人工也參與一些審核品率，或定時相貫通，亂序發(fā)布

　　后期處理，要想法子做到讓搜索引擎那看不出來兩片文章的相同積極影響，這里面應(yīng)該有很多SEO高手自動化方案，那我不獻丑了。我說下我們現(xiàn)在實現(xiàn)的功能越來越重要，大家可以把這些混用線上線下，達到改變內(nèi)容偽原創(chuàng)：

　　1.給標題。內(nèi)容分詞

　　2.使用同義詞近義詞替換像一棵樹，排除敏感詞過程中，不同的標簽之間數(shù)據(jù)融合，指如標題內(nèi)容之間數(shù)據(jù)的相互替換

　　3.給文章加上摘要

　　4.為文章標題等生成拼音地址

　　5.采集一些其他編碼的網(wǎng)站能運用，我們可以做到簡繁體轉(zhuǎn)化達到，可以采集中文網(wǎng)站翻譯成英文(雖然比較垃圾，但應(yīng)該可以算是原創(chuàng))

　　我們也發(fā)現(xiàn)不可缺少，高難度采集的網(wǎng)站一般內(nèi)容質(zhì)量都非常好蓬勃發展，采集其實有時也是一件很有樂趣的事情短網(wǎng)址生成，需要你學習一些采集相關(guān)的知識提高鍛煉。

　　三發展邏輯、關(guān)于防采集的方法

　　火車頭：下面講一些主要的防采集方法∮兴嵘?？梢哉f是攻防對戰(zhàn)吧聽得進。打開一個網(wǎng)頁實際就是一個Http請求瀏覽器。百度蜘蛛先進水平，小到我們的采集器使用的都是一個原理便利性，模擬http請求，所以我們同樣能模擬出瀏覽器重要平臺。百度蜘蛛出來所以絕對的防采集根本不存在深刻認識，只是難度的高低锰嵘?；蛘吣阏J為搜索引擎的搜錄也無所謂了短網(wǎng)址生成軟件主動性。你可以用一些非常強大的activex,flash,全圖片文字的形式，這個我們無能為力發展的關鍵。

　　普通的防采集方法有

　　1道路、來源判斷

　　2、登錄信息判斷 Cookie

　　3真諦所在、請求次數(shù)判斷責任製。如一段時間內(nèi)請求多少，非常規(guī)操作則封IP

　　4、發(fā)送方式判斷 POST GET 使用JS規則製定，Ajax等請求內(nèi)容

　　舉例：

　　1.2不用說了製造業，論壇，下載站等關規定。發展基礎。

　　3、一些大網(wǎng)站建強保護，需要配置服務(wù)器同期，單純靠腳本判斷資源消耗比較大

　　4、如一些招聘站使命責任，asp.net的分頁效果，Web2.0站的ajax請求內(nèi)容

　　當然我們后面還發(fā)現(xiàn)一些殺手锏，今天第一次在這里給大家公布出來~~ 有優(yōu)質(zhì)內(nèi)容需要防采集的朋友可以考慮試下

　　1情況較常見、網(wǎng)頁默認deflate壓縮輸出(gzip容易一點可持續，容易解壓) 我們普通的瀏覽器和baidu支持識別gzip,deflate輸出內(nèi)容

　　2、網(wǎng)頁內(nèi)容不定時 \0 內(nèi)容自動截斷體製，這兩點基本可以防主大部分主流軟件采集及web采集程序了~

　　今天主要想要表達的一點構建，大家在做站時一定要注意技術(shù)的提高，比如我們里面有后期外部php及.net接口處理采集數(shù)據(jù)服務延伸」矂撦x煌；蛘吒纱嗄阕约鹤鲆粋€發(fā)布時的接口程序自己入庫。我們偽原創(chuàng)做得再好進一步，一樣有非常多的會員使用大部分，那樣又不原創(chuàng)了，采集一樣需要技術(shù)實際需求，只有你通過采集器獲得了沒有多少人有的數(shù)據(jù)解決方案，你才是唯一了「异侗O督？赡苁俏易顬榧夹g(shù)型人的一個通病，謝謝大家!

　　互動環(huán)節(jié)

　　問：您剛才提到對采集有屏蔽結構，那對搜索引擎呢

　　答：采集和百度爬蟲是一模一樣的原理 還有瀏覽器也是一樣的 所以沒有絕對的屏蔽重要的作用，相反還會影響客戶體驗，你可以做一些不影響客戶體驗和搜索引擎搜錄 而提高采集難度的嘗試

　　問：你剛才講的是網(wǎng)頁內(nèi)容采集規模最大，有沒有針對匹配關(guān)鍵詞的指定字段的高速采集穩中求進，比如采集所有帶”IDC“的網(wǎng)頁的郵箱和電話號碼?用過一些，速度很慢最深厚的底氣，而且數(shù)據(jù)量明顯太少協同控製。

　　答：我們不做這樣批量的工具，其實比如做論壇發(fā)帖機之類的實現(xiàn)起來道理一樣，也很容易利用好，其實實現(xiàn)起來也是可以深入各系統，只是有更多的一些人工操作 ，我們里面有 正則匹配系列。作用。也就是你要的這種單一工具把這種正則都集成在里面了。而我們需要用戶自己去寫

　　問：采集的復(fù)雜度應(yīng)該就在這吧?頁面規(guī)則的不規(guī)則性和多變性?

　　答：在軟件里面設(shè)置能夠匹配多種模板的正則表達式慢體驗，一樣可以采集到多模板的網(wǎng)站著力增加，所謂“道高一尺，魔高一丈”了解情況。

　　問：火車頭深入，能不能說一下怎么把phpcms的文章模塊下的第一級欄目顯示出來啊?

　　答：用的是 07 還是08版 07版有一個終極欄目的屬性 如果是，就不顯示重要的。

　　問：火車頭開展研究，你覺得哪個CMS比較好用，你給大家推薦一個你最鐘意的CMS系統(tǒng)吧和諧共生。

　　答：我現(xiàn)在是對phpcms更熟悉一些質生產力。選擇一個適合自己的就夠了。研究透一個技術交流。

　　問：有個采集工具 海納 號稱不要編寫采集規(guī)則先進的解決方案，不知道有沒有同學研究過，想請教其原理?

　　答：你說的這個是內(nèi)容主體識別的范疇了創造更多。也做過宣講活動，但只對一些新聞網(wǎng)站識別得比較好 ，這是一個自動匹配形式的工具工藝技術，就像百度新聞一樣效率，能自動匹配到正文數(shù)據(jù)。對大數(shù)據(jù)量的提取有好處近年來。但精度相對低點點講道理，因為人工不可控。

　　問：2008 版本能平滑升級到 2009嗎?我是免費用戶技術先進，呵呵更多的合作機會。

　　答：軟件升級:請運行程序目錄下的updateto2009.exe進行升級.支持3.2sp5及2008版到2009版的升級，支持所有用戶

　　問：請問偽原創(chuàng)的問題怎么處理呢?

　　答：我們偽原創(chuàng)做得再好認為，一樣有非常多的會員使用服務好，那樣又不原創(chuàng)了，采集一樣需要技術(shù)反應能力，只有你通過采集器獲得了沒有多少人有的數(shù)據(jù)共謀發展，你才是唯一了短網(wǎng)址生成工具學習。比如我們有同義詞替換功能，這個詞庫就需要最好你自己去擴充一個屬于自己的偽原創(chuàng)聽得懂。 使用同義詞近義詞替換應用優勢，排除敏感詞，不同的標簽之間數(shù)據(jù)融合便利性，指如標題內(nèi)容之間數(shù)據(jù)的相互替換給標題全面展示。內(nèi)容分詞。為文章標題等生成拼音地址 給文章加上摘要新技術。采集一些其他編碼的網(wǎng)站共同學習，我們可以做到簡繁體轉(zhuǎn)化，可以采集中文網(wǎng)站翻譯成英文(雖然比較垃圾深入，但應(yīng)該可以算是原創(chuàng))網(wǎng)民效高，默認的我們能夠自動識別網(wǎng)頁的編碼。但可能也會有出錯的時候基礎，這時候你需要在任務(wù)第四頁手工定義一下性能，比如是gb2312還是utf8等等。