1樓：匿名使用者
scrapy依賴於twisted，所以如果scrapy能用，twisted肯定是已經安裝好了。
抓取到的資料，可以直接丟到mysql，也可以用django的orm模型丟到mysql，方便django呼叫。方法也很簡單，按資料庫的語句來寫就行了，在spiders目錄裡定義自己的爬蟲時也可以寫進去。
當然使用pipelines.py是更通用的方法，以後修改也更加方便。你的情況，應該是沒有在settings.
py裡定義pipelines，所以scrapy不會去執行，就不會生成pyc檔案了。
scrapy執行爬蟲一開啟就關閉了沒有爬取到資料是什麼原因
2樓：匿名使用者
可以考慮用bs4解析 那個用起來直觀一些 而且有中文文件
還有你就給spider的**⋯⋯你pipeline item什麼的處理是怎麼處理的！
網路爬蟲只能爬去web頁面的資料資訊嗎？是不是別人資料庫中的資料時沒有辦法抓取的？
3樓：流浪的貓
網路爬蟲抓取頁面資訊，提取其中的連結，順著連結依次爬行，一般深度優先或者廣度優先，這樣一層一層的抓取，但是網頁上的資訊可能會涉及版權，如果對方不允許爬蟲抓取，robot協議裡禁止抓取，或者設定許可權為登陸狀態才可以，這些都會阻礙爬蟲抓取資料。而web頁面上的資訊，其實是資料庫裡的資料在**上的體現，沒有體現出來的資料庫資料，爬蟲是無法抓取的。除非是給一個入口，這樣爬蟲從入口進去可以抓取資料。
4樓：
網路爬蟲抓取的是web頁面的資料資訊，其實這些資訊原本也就是資料庫裡面的資料，但是如果有些資料庫的資料在網頁上面沒有顯示，或者**的反爬機制嚴格，確實是沒辦法抓取的；包括現在用的比較多的軟體機器人工具小幫，也是隻能採集資料庫中在介面顯示的資料，針對反爬厲害的**，可以試試。
scrapy執行爬蟲的時候，為什麼沒有自動呼叫process
5樓：
就是在parse裡 返回 item
yield item
scrapy 爬蟲怎麼在程式裡把爬蟲停止
6樓：
self.crawler.engine.close_spider(self, '關閉爬蟲')
7樓：
scrapy是一個為了爬取**資料，提取結構性資料而編寫的應用框架。 其可以應用在資料探勘，資訊處理或儲存歷史資料等一系列的程式中。
其最初是為了頁面抓取 (更確切來說, 網路抓取 )所設計的， 也可以應用在獲取api所返回的資料(例如 amazon associates web services ) 或者通用的網路爬蟲。
scrapy用途廣泛，可以用於資料探勘、監測和自動化測試。
什麼叫爬蟲技術？有什麼作用？
8樓：探碼科技
爬蟲主要針對與網路網頁，又稱網路爬蟲、網路蜘蛛，可以自動化瀏覽網路中的資訊，或者說是一種網路機器人。它們被廣泛用於網際網路搜尋引擎或其他類似**，以獲取或更新這些**的內容和檢索方式。它們可以自動採集所有其能夠訪問到的頁面內容，以便程式做下一步的處理。
我們絕大多數人每天都使用網路 - 用於新聞，購物，社交以及您可以想象的任何型別的活動。但是，當從網路上獲取資料用於分析或研究目的時，則需要以更技術性的方式檢視web內容 - 將其拆分為由其組成的構建塊，然後將它們重新組合為結構化的，機器可讀資料集。通常文字web內容轉換為資料分為以下三個基本步驟 ：
爬蟲：
web爬蟲是一種自動訪問網頁的指令碼或機器人，其作用是從網頁抓取原始資料 - 終端使用者在螢幕上看到的各種元素（字元、**）。 其工作就像是在網頁上進行ctrl + a（全選內容），ctrl + c（複製內容），ctrl + v（貼上內容）按鈕的機器人（當然實質上不是那麼簡單）。
通常情況下，爬蟲不會停留在一個網頁上，而是根據某些預定邏輯在停止之前抓取一系列** 。 例如，它可能會跟蹤它找到的每個連結，然後抓取該**。當然在這個過程中，需要優先考慮您抓取的**數量，以及您可以投入到任務中的資源量（儲存，處理，頻寬等）。
解析：
解析意味著從資料集或文字塊中提取相關資訊元件，以便以後可以容易地訪問它們並將其用於其他操作。要將網頁轉換為實際上對研究或分析有用的資料，我們需要以一種使資料易於根據定義的引數集進行搜尋，分類和服務的方式進行解析。
儲存和檢索：
最後，在獲得所需的資料並將其分解為有用的元件之後，通過可擴充套件的方法來將所有提取和解析的資料儲存在資料庫或叢集中，然後建立一個允許使用者可及時查詢相關資料集或提取的功能。
1、網路資料採集
利用爬蟲自動採集網際網路中的資訊（**、文字、連結等），採集回來後進行相應的儲存與處理。並按照一定的規則和篩選標準進行資料歸類形成資料庫檔案的一個過程。但在這個過程中，首先需要明確要採集的資訊是什麼，當你將採集的條件收集得足夠精確時，採集的內容就越接近你想要的。
2、大資料分析
大資料時代，要進行資料分析，首先要有資料來源，通過爬蟲技術可以獲得等多的資料來源。在進行大資料分析或者進行資料探勘的時候，資料來源可以從某些提供資料統計的**獲得，也可以從某些文獻或內部資料中獲得，但從這些獲得資料的方式，有時很難滿足我們對資料的需求，此時就可以利用爬蟲技術，自動地從網際網路中獲取需要的資料內容，並將這些資料內容作為資料來源，從而進行更深層次的資料分析。
3、網頁分析
9樓：
爬蟲技術有時候在工作中必須用的，這也是一項技能
10樓：八爪魚大資料
網路爬蟲的具體作用是什麼說白了就是網路黃牛利用爬蟲軟體24小時監控某個系統，比如說蘋果官網的維修預約就很難預約到，這時候就可以24小時監控他們的官網一有預約號出來立刻就用軟體搶了，然後再賣出去。
python網路爬蟲的作用1、做為通用搜尋引擎網頁收集器。
2、做垂直搜尋引擎。
11樓：匿名使用者
「618ip**」僅提供國內網路節點，不提供境外網路節點，不能用於任何非法用途，不能訪問境外封閉**、跨境聯網，只能提供國內營銷或工作使用。
1、給客戶提供換ip功能，包含靜態線路和動態線路選擇2、提供全國20多個省160多個城市ip地址隨意選擇3、提供靜態ip.動態ip地址供客戶長期使用4、提供se、pptp、l2tp等模式連結
scrapy爬蟲，不到一個小時就假死了怎麼回事
12樓：匿名使用者
你可以根據日誌查一下，看看程式再抓哪些頁面的時候死了，再分析一下為什麼死。有些**為了防止爬蟲會採取一些措施，比如給你設計一個連結，你開啟這個連結後跳到另一個頁面，這個頁面上還有一個連結，又連結到原來的頁面，如果處理不好爬蟲就在這死了。還有就是有些跳轉會對爬蟲有些干擾。
其他的話有可能有些**為了防止爬蟲，直接返回403也有可能。
具體原因不清楚，但是你可以採取一些措施來避免。
比如你可以設計一個像硬體看門狗電路一樣的程式，正常情況下，每隔一段時間就「喂狗」，當程式假死後，狗餓了，就會回來「咬你一口」，其實就是讓程式復位啦。
中國政策為什麼執行難，為什麼美國沒有執行難的問題
因為得到好處的人太多了，層層分贓。所以什麼政策也不好用。人完了，一切都完了。因為法院不 copy是你爹開的，被執行人把錢轉給他人就一點事也沒有了，你以為法官吃飽了撐的，你叫執行就給你執行了！大案給個幾百萬還好說，就我斷個胳膊腿的小事，要上還不夠給法官擦屁股了，所以沒門子的農民少去法院，不去賠點醫療費...
為什麼我一執行photoshop就沒有響應翱
一般軟體衝突都是由於廠家互相競爭，在同一機子上安裝同一功能的軟體，就會發生衝突，這些衝突可能是廠家缺乏溝通程式裡有衝突的地方或者是故意給對方設定障礙。但是軟體衝突一般是在同時執行這兩個或者幾個軟體才可能發生。而且如果發生軟體衝突應該有系統的提示或者嚴重的出現系統錯誤，如果沒有系統提示的話這樣試一試。...
為什麼電腦沒有中毒可是執行很慢，電腦中毒了執行很慢怎麼弄？
使用過程較慢可以從幾個方面檢查驗證 1.使用系統優化軟體如 瑞星安全助手 等進行系統優化2.通過系統資源管理器檢視是否存在佔資源程序，結束後檢視是否正常3.檢查驅動是否正常或更新驅動 4.同時硬碟存在弱道壞道較多也有可能影響執行速度，可用工具進行檢測或及時更換，防止資料丟失 優化大師一定行的 我都是...