归档: 2016/4

Scrapy 的命令行工具

默认设置系统,用户,项目。优先级从低到高 系统/etc/scrapy.cfg 用户~/.config/scrapy.cfg和~/.scrapy.cfg 项目./scrapy.cfg 另外可以通过环境变量来设置 默认项目结构1234567891011scrapy.cfgmyproject/ __init__.py items.py pipelines.py setting

【译】XPath 实用技巧

原文链接:XPath Tips from the Web Scraping Trenches 简介在网页抓取的过程中, XPath 是一个很好的工具,因为它可以选择文档里的元素而且比 CSS 选择器更灵活。如果你正在寻找一个教程,这是一个好的选择。 在这篇文章中,我们将向你展示一些我们在使用 XPath 的过程中发现的技巧。 考虑使用 text 元素当你需要使用元素的内容(the text con

Scrapy 入门

创建一个名为 project_name 的项目1scrapy startproject project_name 定义 ItemItem 使用方法与 Python 的字典类似,提供了额外保护机制避免拼写和未定义字段错误。 123class Example_Item(scrapy.Item): field_name = scrapy.Field() second_name = scrap

PHP 在 Vim 上的使用问题

问题最近在写 PHP 。写这种脚本语言当然是用 Vim 最舒服啦,方便起见我一直用的 Vim 设置懒人包。 但是很奇怪的是在编辑 .php 文件时,Vim 变得非常慢,同时由于 CPU 负荷过高电脑风扇也不停地转,简直到了无法忍受的地步。 尝试 Atom无奈只好转战 Atom ,为了方便我还安装了 vim-mode 和 ex-mode 插件。 Atom 其实也不习惯,首先是一些快捷键不知道换成了哪

【译】写下你的第一个 Django 应用 part 2

设置数据库现在,编辑你的 mysite/settings.py,这是一个课业设置模块级别的变量的普通 Python 模块。 Django使用SQLite作为默认的数据库,如果你只对Django感兴趣,这是最好的选择。SQLite包含在Python里,所以你不需要安装任何东西来支持你的数据库。当你真正开启你的项目的时候,你可能需要更加鲁棒的数据库,例如PostgreSQL,来避免一些在数据库中令人头

【译】写下你的第一个 Django 应用 part 1

让我们从例子学起 通过这个教程,我们就可以简单地完成一个投票应用 应用。 这包含两个部分: 一个关于投票的公共的网站,用户可以查看可以投票的项目,也可以对项目进行投票。 一个后台管理界面,管理员可以增加,修改,删除公共网站里的待投票项目。 我们这里假设你已经在你的电脑中安装了 Django 。如果你不确定是否已经安装,可以在 Terminal 中输入这行命令: 1python -c "im