介绍 偶然间看到豆瓣电影的TOP250榜单，于是突发奇想写了这个爬虫脚本。将通过爬取豆瓣电影TOP250的榜单列表获取电影详情页的URL，然后再爬取电影详情页URL中的内容，最终获得电影的名称，导演，演员，类别，制片国家/地区，语言，上映日期，片长和剧情简介等信息，经过一系列的处理后输出。 输出结果 最终结果将输出为JSON形式，为当前运行目录下的result.json，形式如下 代码
最近由于进行数据库测试，需要大量的虚拟数据填充数据表，只好自己用Python造个轮子。 数据完全是虚拟的，不具备真实性，只是用来填充数据表之用途。 # coding:utf-8 import random # Made by Titan! FirstNameList = "王李张刘陈杨赵黄周吴徐孙胡朱高林何郭马罗梁宋郑谢韩唐冯于董萧程曹袁邓许傅沈曾彭吕苏卢蒋蔡贾丁魏薛叶阎余潘杜戴夏钟汪田任姜范方石姚谭廖邹熊金陆郝孔白崔康毛邱秦江史" SecondNameList = "大学之道在明明德在亲民在止于至善知止而后有定定…
前言 最近对几种并发的方式进行了很多探索。之前一直采用多线程、多进程来提高单个程序的并发数。但是这两种方式各有各的不足之处，在进行频繁的I/O操作的时候，多进程模式的效率并不是很理想，而多线程消耗了很多系统资源，如果处理不当还会出现内存泄漏的情况。于是了解到了Python的标准库中的 asyncio ，采用协程的方式异步调用函数。 asyncio介绍 关于协程的中文文档非常之少，于是基本上我的所有探索都是基于官方的Documentation来的。 asyncio是Python 3.4版本引入的标准库，直接内置了对异…
