标签:: Scrapy

Scrapy 的命令行工具

默认设置系统,用户,项目。优先级从低到高 系统/etc/scrapy.cfg 用户~/.config/scrapy.cfg和~/.scrapy.cfg 项目./scrapy.cfg 另外可以通过环境变量来设置 默认项目结构1234567891011scrapy.cfgmyproject/ __init__.py items.py pipelines.py setting

【译】XPath 实用技巧

原文链接:XPath Tips from the Web Scraping Trenches 简介在网页抓取的过程中, XPath 是一个很好的工具,因为它可以选择文档里的元素而且比 CSS 选择器更灵活。如果你正在寻找一个教程,这是一个好的选择。 在这篇文章中,我们将向你展示一些我们在使用 XPath 的过程中发现的技巧。 考虑使用 text 元素当你需要使用元素的内容(the text con

Scrapy 入门

创建一个名为 project_name 的项目1scrapy startproject project_name 定义 ItemItem 使用方法与 Python 的字典类似,提供了额外保护机制避免拼写和未定义字段错误。 123class Example_Item(scrapy.Item): field_name = scrapy.Field() second_name = scrap