作为Python爬虫中的白富美，scrapy总是要了解学习的，Python的实践项目就直接从这个开始，后面也方便直接转化为商业项目，那第一步就是来安装scrapy。 本应该在linux虚拟机来做开发，但对于已经在window下安装pycharm情况下，加上Python强大的跨平台给我信心，加上虚拟机真的占内存啊，所以就直接在windows上做开发吧，所以下面的情况是出现在windows10环境下的 […]
Python笔记：os和shutil模块的文件及目录操作
这里主要归纳总结一下在Python中涉及到的文件目录以及文件的新建，重命名，删除，移动，压缩等操作是如何使用os模块以及shutil模块来完成的。 os模块 Python是通过os模块来获取一些系统方面的信息以及目录、文件的增删等操作的； 系统 os.name # 操作系统类型，如果是posix，说明系统是Linux、Unix或Mac OS X，如果是nt，就是Windows系统。 os.cpu_ […]
Python笔记：格式化输出%s,%d和%f
Python中查看一些框架代码，做日志输出或者做面试题中，经常需要了解到格式化输出的理解。 看下面的代码就了解了格式化输出的用法了： # 直接使用 print(“Name:%s Age:%d Height:%f” % (“Aviad”,25,1.83)) # Name:Aviad Age:25 Height:1.830000 # 指定占位符宽度 +号右对齐 -左对齐 默认占位符时空格 print( […]
Python笔记：文件IO操作
读取文件 使用open()打开文件，文件不存在会抛出IOError错误。 try: f = open(‘/path/to/file’, ‘r’) print(f.read()) finally: if f: f.close() 文件读取完成一定要close()，为了保证在报错的时候也能close()，这里用了finally语句，更简洁的写法是用with语句，会自动关闭。 with open(‘/p […]
Python笔记：logging日志记录到文件及自动分割
日志作为项目开发和运行中必备组件，python提供了内置的logging模块来完成这个工作；借助TimedRotatingFileHandler可以按日期自动分割日志，自动保留日志文件数量等，下面是对日志的一个简单封装和测试。 import logging import os from logging import handlers class Logger(object): level_rela […]
Python笔记：错误处理
Python与其他大部分语言一样内置了错误处理的机制，使用try，except，finally一套来处理程序抛出的错误； 处理错误 当我们预测某些代码可能会出错时，就使用这样的代码来处理： try: print(‘try…’) r = 10 / 0 print(‘result:’, r) except ZeroDivisionError as e: print(‘except:’, e) fi […]