Python中用memcached来减少数据库查询次数的教程

本来我一直不知道怎么来更好地优化网页的性能，然后最近做python和php同类网页渲染速度比较时，意外地发现一个很简单很白痴但是 我一直没发现的好方法（不得不BS我自己）：直接像某些php应用比如Discuz论坛那样，在生成的网页中打印出“本页面生成时间多少多少秒”，然后在 不停地访问网页测试时，很直观地就能发现什么操作会导致瓶颈，怎样来解决瓶颈了。

于是我发现SimpleCD在 生成首页时，意外地竟然需要0.2秒左右，真真不能忍：对比Discuz论坛首页平均生成才0.02秒，而Discuz论坛的首页页面无疑比 SimpleCD的主页要复杂不少；这让我情何以堪啊，因为这必然不是Python语言导致的差距，只能说是我完全没做优化而Discuz程序优化得很好 的后果。

其实不用分析也能知道肯定是数据库在拖累，SimpleCD在生成首页时需要在sqlite的三个数据库中进行42多次查询，是历史原因导致的极其低效的一个设计；但是这40多次查询中，其实大部分是非常快的查询，仔细分析一下就有两个是性能大户，其他都不慢。

第一个大户就是：获取数据个数
 

SELECT count(*) FROM verycd

这个操作每次都要花不少时间，这是因为每次数据库都要锁住然后遍历一遍主键统计个数的缘故，数据量越大耗时就越大，耗时为O(N)，N为数据库大小；实际 上解决这个问题非常容易，只要随便在哪存一个当前数据的个数，只有在增删数据的时候改动就行了，这样时间就是O(1)的了

第二个大户就是：获取最新更新的20个数据列表
 

SELECT verycdid,title,brief,updtime FROM verycd   ORDER BY updtime DESC LIMIT 20;

因为在updtime上面做了索引，所以其实真正查询时间也就是搜索索引的时间而已。然则为什么这个操作会慢呢？因为我的数据是按照publish time插入的，按update time进行显示的话就肯定需要在至少20个不同的地方做I/O，这么一来就慢了。解决的方法就是让它在一个地方做I/O。也就是，除非数据库加入新数据 /改变原有数据，否则把这条语句的返回结果缓存起来。这么一来又快了20倍：）

接下来的是20条小case：取得发布人和点击数信息
 

SELECT owner FROM LOCK WHERE id=XXXX; SELECT hits FROM stat WHERE id=XXXX;

这里为什么没用sql的join语句来省点事呢？因为架构原因这些数据放在不同的数据库里，stat是点击率一类的数据库，因为需要频繁的插入所以用 mysql存储；而lock和verycd是需要大量select操作的数据库，因为mysql悲剧的索引使用情况和分页效率而存放在了sqlite3数 据库，所以无法join -.-

总之这也不是问题，跟刚才的解决方法一样，统统缓存