笔记¶

自实现锁¶

使用gcc 提供的 __sync_bool_compare_and_swap, 可以实现自己的锁，该函数是一个 原子操作:

// 如果 \*lock 的值等于 old, 那么就把set 写入*lock, 否则不写
__sync_bool_compare_and_swap(lock, old, set)

用法示例: example

内存池¶

nginx 的内存池实现

用法示例: example

相关链接: http://www.alidata.org/archives/1390

相关链接: http://www.cnblogs.com/jzhlin/archive/2012/06/06/2537710.html

哈希表¶

glib 库(gnome基本库) 提供了一套 哈希表

示例: example

相关链接: https://developer.gnome.org/glib/2.30/glib-Hash-Tables.html#g-hash-table-new

终端下UI库¶

curses 库

示例: example

正则表达式¶

PCRE: 很多开源项目都用它来支持正则，如: nginx, apache

示例: example

相关链接: http://www.pcre.org/pcre.txt

内存覆盖bug¶

strcpy函数并不会检测参数范围，如下

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

include <stdio.h>
int main ()
{
    int flag;
    char buf[10];

    strcpy (buf, argv[1]);

    if (strcmp (“abc123”, buf) == 0) {
        flag = 1;
    } else
        flag = 0;

    if (flag) {
        printf (“successful”);
    }
}

这是一个验证密码的程序, 有办法让你不知道密码，也能登陆。只要输入的字符串足够长就行, 原理: strcpy 不会考虑第一个参数 的内存大小，如果 argv[1]足够大 导致buf已经复制不下，那么会 溢出复制。就是往内存中后续的 地址复制。 内存中存储可能如下:

--------------
| --内存中---|
|____________|
| buf 变量   |
|____________|
| flag 变量  |
--------------

当输入足够长， 利用strcpy函数不保证边界检测的特性， 后续的字符会覆盖下面的变量flag

牛逼宏定义¶

大小写转换:

#define ngx_tolower(c)      (u_char) ((c >= 'A' && c <= 'Z') ? (c | 0x20) : c)

FAQ¶

Ivy is not avaliable

Ivy是ant的一个插件， 报这个错说明Ivy插件没有安装，或者没有配置好. 解决方法:

1. 从官网下载Ivy tgz包并下载编译成jar包， 然后把Ivy.jar 拷贝到/usr/share/ant/lib/ 下
2. 配置环境变量 export ANT_HOME=/usr/share/ant/

元编程¶

在python 中，普通Object 是类的实例， 类是元类的实例. 如下:

class A:
    pass

a = A()

定义了一个类A, 定义了一个实例a, 其中 a是类A的一个实例, 但其实类A也是实例( 类也是实例 ), 它是谁的实例呢，是元类的实例(默认所有类的元类是type)。 当解析器解析到 class A 时，就在内存中创建了一个对象 A, 只不过这个对象是 类对象, 它可以创造实例

class Metaclass(type):
    def __new__(meta, name, bases, dct):
        """
        它有四个参数:
        meta: 元类，这里是 MetaClass
        name: <要使用此元类的类>的类名
        bases: <要使用此元类的类>的基类
        dct: <要使用此元类的类>的属性, 包括函数，类变量, 如: __init__函数
        """

        dct['add_attr'] = 'haha'

        # 调用type(name, bases, dct) 来创建类
        return super(Base, meta).__new__(meta, name, bases, dct)

class A:
    __metaclass__ = Metaclass
    pass

a = A()
print a.add_attr

magic 方法¶

class attrCls(object):

    default = list

    def __get__(self, instance, owner):
        """
        这个方法称为Descriptor
        @instance: 调用这个属性的实例， 如果是通过类名调的， 这个值为None
        @owner: 调用这个属性的类
        """
        return self.default()

class Cls:
    objects = attrCls()

print type(Cls.objects)  ==> list
Cls.objects.reverse()

自实现python版的http框架¶

示例: example

常见问题¶

fp = codecs.open(dump_file, 'w', encoding='utf16')
title = u'性名\t平台\tid\t数量\n'
fp.write(title)

for items in result:
    try:
        line = '%s\t%s\t%s\t%s\n' % (items[0], items[1], item[2], item[3])
        fp.write(line)
    except Exception as E:
        pass
fp.close()

> s = u'\u4f60\u597d'
> print s
你好
> s = '\u4f60\u597d'
> print s
'\u4f60\u597d'
> print s.encode('utf-8')
'\u4f60\u597d'
> print s.decode('utf-8')
'\u4f60\u597d'
> print s.decode('unicode-escape')
你好

arp 命令¶

查看 arp缓存表:

$> arp -a -i eth0

清空arp缓存:

$> sudo arp -ad -i eth0

arp 攻击¶

由于arp 协议很简单， 没有验证，所以hacker 可以很容易发送假的arp reply 给局域网 其他机器, 但前提条件是 attack 机器必须和 目标机器在同一局域网. 对于网络管理员， 控制arp攻击的方法有以下几种.

Dos 攻击¶

Dos 攻击的种类很多，但原理都是发送大量的请求，使server不能服务正常的请求. 知名的攻击类别有:

• SYN Flood攻击
• DDos 分布式Dos攻击
• Pingofdeath 死亡之Ping

csrf 攻击¶

也叫跨站请求伪造攻击, 它的原理如下:

1. 被攻击银行网站A，它以GET请求来完成银行转账的操作，如：http://www.mybank.com/Transfer.php?toBankId=11&money=1000 (GET请求来转账，小bug)

2. 危险网站B，它里面有一段HTML的代码如下:

   <img src=http://www.mybank.com/Transfer.php?toBankId=11&money=1000>
   

3. 首先，你登录了银行网站A，然后访问危险网站B. 噢，这时你会发现你的银行账户少了1000块...... 因为网站B在你不知情的情况下 用你的身份(cookie)伪造了一个请求

HEAD¶

client 发送HEAD请求到服务器， 服务器只返回头部信息回去，不发送真实数据. 这个方法的用途:

• 客户端查看某个资源的返回类型(mine-type)
• 查询某个静态文件是否存在
• 查询一个文件是否有修改(Cache-time)

GET¶

以下是用chrome 浏览器请求 django server的抓包结果

总结:

1. GET请求的参数， 是放在请求行里的
2. 请求中得换行是 0d0a, 空格是 20
3. http请求是由服务端先close, 最后服务端维护2MSL

POST¶

POST发送数据时，分为 表单 和 JSON 两种，以下是两种的区别

a = b
c = [1,2,3]
d = {a:b
     c:d}

上传文件¶

用post上传文件时， 文件数据是放在请求体内的，并不是放在首部。但是首部会指明文件数据从请求体哪个字节开始, 下面就是 一个客户端上传文件的请求:

Warning

上传文件的时候，必须用multipart格式(非www-form-data), 并且其他数据必须用表单，不能用JSON,参见: http://www.faqs.org/rfcs/rfc2388.html

其中， Content-Type: multipart/form-data; boundary=---------------------------7db15a14291cce 说明 了这个请求是“multipart/form-data”格式的，且“boundary”是 “—————————7db15a14291cce”这个字符串。

不难想象，“boundary”是用来隔开表单中不同部分数据的。例子中的表单就有 2 部分数据， 用“boundary”隔开。“boundary”一般由系统随机产生，但也可以简单的用“————-”来代替。 紧接着 boundary 的是该部分数据的描述。

接下来才是数据。

pipeline¶

Http1.1 引入了两个提高性能的特性: keepalive 和 pipeline.

pipeline 就是可以在一个connection上，并行的发送多个http请求，后一个请求不用等前一个请求处理完毕. 但是这个特性很遗憾, 没有被大部分程序使用

FAQ¶

python requests 库的timeout作用:

requests 发http请求的时候，timeout参数并不是整个请求的超时，而是目标服务器没有响应的时间。例如:

requests.get('http://www.google.com', timeout=2)

如果没有开vpn, 这个请求也不会2秒后报错， 因为大部分时间block 在DNS查询， 这步查询不受requests 的timeout影响。

URL 编码

url 编码只能使用utf-8, 所以在url中出现汉字，浏览器会自动把汉字转换成utf-8表示(每个字节前加%), 如:

http://www.baidu.com?wq=春节

浏览器处理过后，其实发送的是:

http://www.baidu.com?wq=%E6%98%A5%E8%8A%82

http basic auth 这是http协议的一个feature, 它把账号和密码放在header里(未加密)，向server发出请求, 如果验证失败，就返回401

TCP 协议¶

这是chrome 浏览器的抓包. 可以看到, chrome 发送http请求时， TCP会默认打开几个TCP 协议选项:

02 最大报文选项

03 窗口扩大选项

08 时间戳选项

04 SACK选项

建立连接¶

三次握手

listen 函数的backlog

服务端exampe:

int
main(int argc, char **argv)
{
    int listenfd, connfd;
    char    buf[MAXLINE];
    ssize_t n;
    pid_t   childpid;
    socklen_t   clilen;
    struct  sockaddr_in cliaddr, servaddr;

    listenfd = socket(AF_INET, SOCK_STREAM, 0);                 // 1. socket
    bzero(&servaddr, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
    servaddr.sin_port = htons(SERV_PORT);

    bind(listenfd, (SA *) &servaddr, sizeof(servaddr));         // 2. bind
    listen(listenfd, LISTENQ);                                  // 3. listen

    while(1) {
        clilen = sizeof(cliaddr);
        connfd = accept(listenfd, (SA *) &cliaddr, &clilen);    // 4. loop accept

        while(1) {
            if((n = read(connfd, buf, MAXLINE)) == 0)
            break;
            n = write(connfd,buf,n);
        }
        close(connfd);
    }
}

客户端example:

int
main(int argc, char **argv)
{
    char    buf[BUFFSIZE];
    int     sockfd;
    int     tffd;
    char    time[64];
    ssize_t n;
    struct  sockaddr_in servaddr;

    if(argc != 2){
        printf("usage: cmd <IPaddress>/n");
        exit(0);
    }

    sockfd = socket(AF_INET, SOCK_STREAM, 0);               // 1. socket
    bzero(&servaddr, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_port = htons(SERV_PORT);
    inet_pton(AF_INET, argv[1], &servaddr.sin_addr);

    connect(sockfd, (SA *) &servaddr, sizeof(servaddr));    // 2. connect

    while(1)
        {
        if((n = read(STDIN_FILENO,buf,BUFFSIZE)) == 0)
            break;
        n = write(sockfd, buf, n);
        n = read(sockfd, buf, BUFFSIZE);
        n = write(STDOUT_FILENO,buf,n);
    }
    exit(0);
}

其他¶

中间件¶

django 自带了一下中间件:

django.contrib.sessions.middleware.SessionMiddleware

django.middleware.common.CommonMiddleware:

自动补全/
UA forbidden
etags

django.middleware.gzip.GZipMiddleware:

使用gzip对response.content进行压缩

django.contrib.auth.middleware.AuthenticationMiddleware:

提供了app(auth), 其中包括url (login, logout, password_change)

session¶

在request之前，给request对象增加一个session属性，是sessionStore类型(这个类型可以在setting中用SESSION_ENGINE来配置)
在response之后，查看response的status, 如果不等于500， 就把session对象存储下来(看SESSION_ENGINE来决定用什么存)

测试¶

测试类

• django.utils.unittest.TestCase 基本测试类

• django.test.TransactionTestCase 事务测试类:

  每个test_函数执行过后，都会恢复数据库到初始状态。
  

• django.test.LiveServerTestCase 活服务测试类:

  每次测试的时候，会在后台模拟启动一个服务端(python manager.py runserver), 这就可以用 Selenium 来自动化测试
  

优化¶

• 如果不使用django的session, 那么在settings里把session的中间件注掉，减少开销
• 可以使用其他模板引擎， 如jinja2, 但要注意， django的contrib里的app, 都是用DTL实现的

其他¶

信号¶

django 的信号，其实就是定义一个全局类， 这个类的作用就是观察者， 可以注册 一堆callback, 最后通过send()方法来调用每个signal 上的callback. 它的作用就是解藕, 无其他作用

第一步, 注册 signal, 这步建议把代码写在每个app下的signal.py 文件中:

import django.dispatch
delete_done = django.dispatch.Signal(providing_args=['obj'])

第二步, 关联对应的listener, 建议把这行代码写在 models.py 中:

class Article:
    pass

def callback(sender, **kwargs):
    pass

signals.delete_done.connect(callback, sender=Article)

第三步, 触发信号:

signals.delete_done.send(sender=Article, obj=self)

$ pip install -U mongoengine

问题¶

有些django版本，创建了新app并写了models后，无法migrate来创建数据库，提示已migrated. 这种情况下， 在新app目录下，删除掉 migrations目录即可

模板¶

flask 的模板默认是使用jinja2, 你也可以使用其他模板渲染

@app.context_processor
def inject_user():
    return dict(user=g.user)

FAQ¶

1. github Key is already in use

   出现这个的原因是你在以前也用过GitHub, 并且提交了你的密钥. 这个时候你可以通过在命令行里输入:

   ssh -T -i ~/.ssh/id_rsa git@github.com
   

   来查看到底是哪一个账户在使用此密钥，会出现如下提示:

   Hi <XXX>! You've successfully authenticated, but GitHub does not provide shell access.
   

   就是这个XXX账号， 占用了当前sshkey, 登陆这个账号，删除掉sshkey就行了

第一步: 配置文件¶

书写 ~/.goaccessrc 文件，在其中配置日志的格式:

color_scheme 0
date_format %a %b %d %H:%M:%S %Y
log_format {%^} {%^} [%^] %h %^[%d] %^ %r %^(%^ %s) %^

第二步: 执行¶

使用命令:

$> goaccess -f 日志路径 > result.html

Web 管理窗口¶

• HDFS 管理窗口 localhost:50070
• JobTracker 管理窗口 localhost:50030

import org.apache.hadoop.fs.*;
import org.apache.hadoop.conf.*;
class Person
{
    public String talk() {
    return "Person —— >> talk()" ;
    }
}

public class a
{
    public static void main(String[] args) throws Exception
    {
        Configuration conf = new Configuration ();
        FileSystem hdfs = FileSystem.get (conf);
        FileSystem local = FileSystem.getLocal (conf);

        Path inputDir = new Path (args[0]);
        Path hdfsFile = new Path (args[1]);

        FileStatus[] inputFiles = local.listStatus (inputDir);
        FSDataOutputStream out = hdfs.create (hdfsFile);

        for (int i = 0; i < inputFiles.length; i++) {
            FSDataInputStream in = local.open (inputFiles[i].getPath ());
            byte buffer[] = new byte [256];
            int bytesRead = 0;
            while ((bytesRead = in.read (buffer)) > 0) {
                out.write (buffer, 0, bytesRead);
            }
            in.close ();
            System.out.println ("aaaa:" + inputFiles[i].getPath ());
        }
        out.close ();
        System.out.println(new Person().talk()) ;
    }
}

class SimpleTest(TestCase):

    def test_add(self):
        self.assertEqual(1+1, 2)

    def test_bar(self):
        json_obj = self.get('/bar/get/%s/' % TCT.ak)
        self.assertEqual(json_obj['st'], 200)

监控类¶

文字类¶

Baseful Use¶

archetype¶

archetype 简单来说，就是maven预先定义好的一些java项目模板(有j2ee的helloworld, 有webapp的helloword 等), 也可以自己定义 自己的模板, 举个例子:

> mvn archetype:generate -DgroupId=com.mycompany.app -DartifactId=my-app -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false

注意, archetype:generate 是生成项目的命令，用 -DarchetypeArtifactId 来选择模板，这里选择的是 maven-archetype-quickstart

quick-start¶

用maven创建一个java项目:

> mvn archetype:generate -DgroupId=com.mycompany.app -DartifactId=my-app -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false

创建完会生成一个新项目目录，目录结构比较固定, 如下:

.
├── pom.xml
└── src
    ├── main
    │   └── java
    │       └── com
    │           └── mycompany
    │               └── app
    │                   └── App.java
    └── test
        └── java
            └── com
                └── mycompany
                    └── app
                        └── AppTest.java

这个pom.xwl 是这个新项目的主要maven配置, maven会生成一个简单的hello world程序. 接着执行打包:

> mvn package

他会把项目打成jar包，放在最外面的target目录下, target/my-app-1.0-SNAPSHOT.jar, 接着执行这个jar包试试:

> java -cp target/my-app-1.0-SNAPSHOT.jar com.mycompany.app.App
> Hello World!

性能调优¶

mongo 性能相关的因素:

• RAM
• locks time
• page fault
• connections number

$> db.collection.totalIndexSize ()

replica set¶

TODO¶

配置从读主写¶

example:

from mongoengine import connect
from pymongo import ReadPreference
connect('mydb', host='mongodb://server1:27017,server2:27017,server3:27017',
        replicaSet='replset',
        read_preference=ReadPreference.SECONDARY_PREFERRED)

问题¶

mongoengine 可以理解为对pymongo的封装，跟pymongo比，它最大的消耗在 从pymongo查询的结果，转换为Document实例, 这确实很费资源

mongoengine 在文档实例save的时候，会调用validate来验证每一个field, 这步没有必要，比较耗时

在使用queryset类时，同时用 as_pymongo() 和 only() 函数，对dict类的解析有问题， 不能解析到dict内部(二级hash), 这是mongoengine 的问题 https://github.com/MongoEngine/mongoengine/issues/563, 还未修复

重置slave¶

1. >stop slave;
2. >change master_host=’xx.xx.xx.xx’, master_user=’sns’,master_bin_log=’mysql_bin.00001’,master_position=146;
3. >start slave;
4. >show slave statusG; 查看 slave_io_running 是否是yes

阿里云¶

阿里云文档: http://www.aliyun.com/product/oss

feature¶

scrapy 有以下特性:

• 内建的支持数据提取（css selector 和 xpath expressions)
• 内建的交互shell, 供debug xpath和css表达式
• 编码检测，自动识别
• 扩展性强(signals, middlewares, extensions, pipeline)
• 很多内建的扩展
• cookies and session handling
• HTTP features like compression, authentication, caching
• user-agent spoofing
• robots.txt
• crawl depth restriction
• and more
• 内建一个telnet控制台，用来查看running中的scrapy进程状态
• 内建一些直接能用的类，如Sitemap Spider, 如自动下载图片的spider

深度 or 广度¶

scrapy 默认是深度遍历， 如果想改成广度遍历，添加:

DEPTH_PRIORITY = 1
SCHEDULER_DISK_QUEUE = 'scrapy.squeues.PickleFifoDiskQueue'
SCHEDULER_MEMORY_QUEUE = 'scrapy.squeues.FifoMemoryQueue

爬虫封禁¶

爬虫可能被网站封掉，最终极的方案是“商业合作”， 在这之前，有一些技巧可以做:

• 收集一个UA池来轮询发请求
• 禁用cookies (某些网站使用cookie来检测爬虫行为)
• 使用delay来防止IP封禁(见DOWNLOAD_DELAY)
• 使用代理IP池， 免费的有TOR, 收费的有http://proxymesh.com/

问题¶

模拟用户登录 http://doc.scrapy.org/en/latest/topics/request-response.html#topics-request-response-ref-request-userlogin

配置¶

> pip install sentry

> /etc/init.d/mysqld restart

> sentry init <配置文件名>

DATABASES = {
        'default': {
            # You can swap out the engine for MySQL easily by changing this value
            # to ``django.db.backends.mysql`` or to PostgreSQL with
            # ``django.db.backends.postgresql_psycopg2``

            # If you change this, you'll also need to install the appropriate python
            # package: psycopg2 (Postgres) or mysql-python

            'ENGINE': 'django.db.backends.mysql',
            'NAME': '数据库名',
            'USER': '账号名',
            'PASSWORD': 'msyql密码',
            'HOST': 'localhost',
            'PORT': '3307',
            }
}

# 创建数据库
mysql> create database 数据库

# 创建账号
mysql> create user 用户@主机 IDENTIFIED by '密码'

# 给这个用户授权

mysql> grant all on sentry.* to user@'localhost'

SENTRY_BUFFER = 'sentry.buffer.redis.RedisBuffer'
SENTRY_REDIS_OPTIONS = {
    'hosts': {
        0: {
            'host': '127.0.0.1',
            'port': 6379,
        }
    }
}

# 起3个worker
> sentry --config=./sentry.settings.py celery worker -B &
> sentry --config=./sentry.settings.py celery worker -B &
> sentry --config=./sentry.settings.py celery worker -B &

> sentry --config=./sentry.settings.py start

> sentry --config=senry.settings.py createsuperuser

EMAIL_BACKEND = 'django.core.mail.backends.smtp.EmailBackend'
EMAIL_HOST = 'smtp.163.com'
EMAIL_HOST_PASSWORD = 'yourpassword'
EMAIL_HOST_USER = 'service@163.com'
EMAIL_PORT = your_port
EMAIL_USE_TLS = True
SERVER_EMAIL = 'service@163.com'

问题¶

启动时报错: Transaction managed block ended with pending COMMIT/ROLLBACK:

$> sentry start

Performing upgrade before service startup...
Syncing...
Creating tables ...
Installing custom SQL ...
Installing indexes ...
Installed 0 object(s) from 0 fixture(s)
Migrating...
Running migrations for djcelery:
   - Migrating forwards to 0004_v30_changes.
      > djcelery:0001_initial
      TransactionManagementError: Transaction managed block ended with pending COMMIT/ROLLBACK

这是因为权限问题, sentry配置文件里的user, 没有足够的权限操作sentry数据库, 用超级账号调用:

mysql> grant all on sentry.* to user@'localhost'

sentry After start sentry web, cannot mark event to reslove:

This maybe cause by SENTRY_URL_PREFIX configure. If your add resversal proxy in front of sentry, you must set SENTRY_URL_PREFIX to the IP of resversal proxy

安装¶

solr 5 之前，可能需要打成solr.war包，放在tomcat里启动。solr 5以后，就不支持tomcat方式启动了

介绍¶

<solr-home-directory>/
|
|___solr.xml                    solr基础功能配置
|___zoo.cfg                     如果启动cloud模式，则家目录必须有这个配置(zookeeper的配置)
|___核心1/
    |____core.properties
    |
    |____conf/
    |    |__solrconfig.xml      solr高级功能配置
    |    |__stopwords.txt
    |    |__protwords.txt
    |    |__synonyms.txt
    |    |__managed-schema      功能和schema.xml类似
    |    |__elevate.xml
    |    |__currency.xml
    |    |__schema.xml          schema
    |
    |____data/
         |___index/
         |___tlog/

SolrCloud       collections
standalone      cores

使用¶

wget http://archive.apache.org/dist/lucene/solr/5.0.0/solr-5.0.0.tgz -c

<fieldType name="text_general" class="solr.TextField" positionIncrementGap="100">
  <analyzer type="index">
    <tokenizer class="solr.StandardTokenizerFactory"/>
      <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
        <!-- in this example, we will only use synonyms at query time
        <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
        -->
      <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
    <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
    <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>

# 创建一个home dir, 里面必须有solr.xml, 如果想使用cloud模式，还必须有zoo.cfg
./bin/solr start -s <home dir>

./bin/solr status

./bin/solr stop -p <port>

# 健康监测
./bin/solr healthcheck -c <core>

./bin/solr create <core name>

curl http://localhost:8983/solr/gettingstarted/select?q=video
curl http://localhost:8983/solr/core/query -d 'q=*:*'

# 删除所有文档
curl http://localhost:8080/solr/update --data-binary "<delete><query>*:*</query></delete>" -H 'Content-type:text/xml; charset=utf-8'
curl http://localhost:8080/solr/update --data-binary "<commit/>" -H 'Content-type:text/xml; charset=utf-8'

扩展¶

solr 可以横向扩展，有两种方式:

• cloud

  类似于数据库的sharding 模式，把数据分布在多台server上。当一个查询来到时，先去各个机器查询结果，最后把每个机器的结果merge在一起

• replica

  类似于数据库的replica模式， 一个solr节点可以sync多份，那么对每一个slave结点，都可以查询。（可能slave结点会有延迟更新的问题)

优化solr的主要方式，是优化schema:

• set stored=”false” for all fields possible (esp large fields) when you only need to search on the field but don’t need to return the original value.
• set indexed=”false” if you don’t need to search on the field, but only return the field as a result of searching on other indexed fields.
• remove all unneeded copyField statements
• for best index size and searching performance, set “index” to false for all general text fields, use copyField to copy them to the catchall “text” field, and use that for searching.
• For maximum indexing performance, use the ConcurrentUpdateSolrServer java client.
• Remember to run the JVM in server mode, and use a higher logging level that avoids logging every request

原理¶

supervisord 是通过fock的方式来执行 subprocess 的，所以它能准确的捕捉到子进程意外退出信号 CHILD, 也能拿到status. 但 这样做的缺点是: 一个supervisord只能管理一台机器

client 通过conf里配置的方式跟server连接(unix domain 或者 tcp)

使用¶

配置一份conf, 里面有server 和 client的配置。 然后在server上启动supervisord:

supervisord -c deploy/supervisor.conf

再在client上执行:

> supervisorctl -c deploy/supervisor.conf status

test                             RUNNING   pid 4753, uptime 13:54:04

启动停止subprocess:

# 重启某个服务
> supervisorctl -c deploy/supervisor.conf restart <subprocess>
# 重启supervisord (它会重启所有subprocess)
> supervisorctl -c deploy/supervisor.conf reload

client支持的命令有:

add    clear  fg        open  quit    remove  restart   start   stop  update
avail  exit   maintail  pid   reload  reread  shutdown  status  tail  version

插件¶

superlance 是一款supervisord的插件，使用它，可以让supervisord子进程退出时，发送邮件到指定邮箱 配置如下:

[eventlistener:fatalmailbatch]
command=/python2.7/bin/fatalmailbatch --toEmail="your@company.com" --fromEmail="send@company.com" --smtpHost="smtp.163.com" --userName="send@company.com" --password="passwd" --subject="[supervisord]: fatal error"
events=PROCESS_STATE,TICK_60

nginx 和 uwsgi 应用交互¶

在nginx中配置uwsgi时，会有这么一行:

include     uwsgi_params;

这里面其实定义了很多变量:

uwsgi_param  QUERY_STRING       $query_string;
uwsgi_param  REQUEST_METHOD     $request_method;
uwsgi_param  CONTENT_TYPE       $content_type;
uwsgi_param  CONTENT_LENGTH     $content_length;
uwsgi_param  REQUEST_URI        $request_uri;
uwsgi_param  PATH_INFO          $document_uri;
uwsgi_param  DOCUMENT_ROOT      $document_root;
uwsgi_param  SERVER_PROTOCOL    $server_protocol;
uwsgi_param  HTTPS              $https if_not_empty;
uwsgi_param  REMOTE_ADDR        $remote_addr;
uwsgi_param  REMOTE_PORT        $remote_port;

也许就是利用环境变量传递这些值给uwsgi 应用的， uwsgi 会把这些变量转换成http header, 放在request里, 所以: 如果有些值， nginx 层有，但是django层看不到， 那么可以利用nginx 的uwsgi_param指令，把值传到django里

uwsgi插件¶

uwsgi 默认编译了很多插件在里面， 可以用 uwsgi --plugins-list 命令来查看有哪些可以使用的插件

[uwsgi]
chdir = .
# plugins = router_cache
module = mysite.wsgi:application
master = True
processes = 1
stats = /tmp/test_stat.sock
http = :9090
harakiri = 8

cpu_affinity = 1
log-micros = true
cache2 = name=mycache,items=300,hash=murmur2
route = ^/feedback cache:key=${REQUEST_METHOD}${REQUEST_URI}${QUERY_STRING},name=mycache,content_type=application/json
route = ^/feedback cachestore:key=${REQUEST_METHOD}${REQUEST_URI}${QUERY_STRING},name=mycache,expires=10
route = ^/feedback log:hey i am printing $1


# route = ^/$ cache:key=myhome_for_${cookie[PHPSESSID]},name=mycache
# ; store each successfull request (200 http status code) for '/'
# route = ^/$ cachestore:key=myhome_for_${cookie[PHPSESSID]},name=mycache
autoload = true

alarm-backlog = mailme cmd:mail -s 'uWSGI alarm' -a 'From: foobar@example.com' admin@example.com

交互式启动uwsgi¶

command:

uwsgi --chdir . --file mysite/wsgi.py --callable application  --master --processes 1 --http :9090 --harakiri 10

常见问题¶

当设置了 max-requests 后，每个worker会在收到那么多请求后自动重启，会在uwsgi log 里写入这么几行:

Fire in the hole
Sat Jul 11 13:48:19 2015 - Fire in the hole !!! (60 seconds to detonation)
Gracefully killing worker 1 (pid: 22813)...
Sat Jul 11 13:48:19 2015 - stopping gevent signals watchers for worker 1 (pid: 22813)...
Sat Jul 11 13:48:19 2015 - stopping gevent sockets watchers for worker 1 (pid: 22813)...
Sat Jul 11 13:48:19 2015 - main gevent watchers stopped for worker 1 (pid: 22813)...
Sat Jul 11 13:48:19 2015 - worker 1 (pid: 22813) core 93 is managing "GET /"
Sat Jul 11 13:48:19 2015 - worker 1 (pid: 22813) core 95 is managing "GET /"

如果同时使用 gevent 和 cpu_affinity 时，有可能导致worker进程不能被有效回收， 导致可工作的worker越来越少，最终服务挂掉. 这个可以从uwsgi log里看到， respawn的worker id 越来越固定

进阶¶

减负线程: https://uwsgi-docs.readthedocs.org/en/latest/OffloadSubsystem.html

标准配置¶

example:

[uwsgi]
chdir = .
chmod-socket=664
module = mysite.wsgi:application
master = True
processes = %(%k * 4)
pidfile = /tmp/%n.pid
uwsgi-socket = /tmp/%n.sock
# http 监控(返回json)
# stats = 127.0.0.1:1717
stats = /tmp/%n_stat.sock
# uwsgi 退出的时候，清理环境, 如unix文件/ pid文件h
vacuum = True
harakiri = 50
harakiri-verbose = True
single-interpreter = True
memory-report = True
max-requests = 10000
listen = 8192

log-truncate = True
disable-logging = True
# logformat = i am a logline reporting "%(method) %(uri) %(proto)" returning with status %(status)
daemonize = /home/log/uwsgi/%n_uwsgi.log
procname-master = uwsgi --ini %n.ini (master)
procname = uwsgi --ini %n.ini

need-app = True

# where n is the number of cpus to dedicate per-worker
# 和gevent配合使用，可能会导致worker不被回收， 可用的worker会慢慢减少，减到1个，server就会挂掉
# cpu_affinity = 1

# 只对tcp有效
# so-keepalive = True

# 设置worker一定时间自动重启(second), 默认不自动重启
# max-worker-lifetime = 600

vim命令¶

编码¶

首先查看本机vim是否支持unicode编码, 可以执行:

:version

来查看 是否有 +multi_byte 选项，如果没有，说明编译vim的时候，没有加 入 –with-features=big

:set encoding=utf-8
:w!

插件¶

Plugin 'msanders/snipmate.vim'

:PluginInstall

:PluginSearch! <插件名>

:PluginList

set rtp+=~/.vim/bundle/Vundle.vim            "修改vim 的runtimepath
call vundle#begin()                          "调用初始化函数(主要是定义一些命令，但没有调用)

Plugin 'gmarik/Vundle.vim'                   "调用自定义的命令 Plugin, 把管理的插件，加入自己维护的变量中
Plugin 'msanders/snipmate.vim'
Plugin 'scrooloose/nerdtree'
Plugin 'klen/python-mode'

call vundle#end()                            "遍历插件列表(由上几行定义), 把这些插件路径加入 runtimepath
filetype plugin indent on

python-mode¶

python 代码检测, rope支持等功能

python-mode 插件本身也是用python写的(vim 自身可以解析python, 因为编译的时候有+python feature), 有时候python脚本会出问 题，要调试的话，在vimrc中加入:

g:pymode_debug = 1

曾遇到一个问题， 保存py文件的时候，报错:

是因为rope会初始化项目下所有py文件， 由于这个项目下包含python整个目录，所以相对很大，导致rope初始化的.ropeproject文件有问题， 解决的办法是禁用rope(因为使用rope太慢了, 要遍历整个python目录)

相关链接: https://github.com/klen/python-mode

use¶

webbench -c 400 -t 60 “http://www.baidu.com“

-c : number of request per second -t : period of request

PS1 命令行提示符¶

在~/.bashrc中加入:

export PS1='\n\e[1;37m[\e[m\e[1;32m\u\e[m\e[1;33m@\e[m\e[1;35m\H\e[m \e[4m`pwd`\e[m\e[1;37m]\e[m\e[1;36m\e[m\n\$'

history 在多终端下的表现¶

• There is the history in the history file.
• There is the history in the memory of a bash process.
• The history in the memory of one bash process is not synced with the history in the memory of any other bash process.
• The history in the memory of a bash process is not synced with the history in the file, unless explicitly asked to or during some specific event (see below).
• During startup bash will read the history file. The content of the history file is now in the memory of the bash process.
• During normal use only the history in memory is manipulated.
• During shutdown the history in memory is written to the history file, overwriting any previous content of the history file.
• 可以在 ~/.bashrc 里，加入 shopt -s histappend, 来防止多terminator 相互覆盖.bash_history， 但是时间戳会乱

history 设置¶

• HISTFILESIZE=2000
• HISTSIZE=2000
• HISTTIMEFORMAT=”%Y%m%d-%H:%M:%S: ” 每个操作，加上时间戳
• export HISTTIMEFORMAT
• shopt -s histappend

scripts example¶

log 跨机器传输(retry): example

计算字符串的md5值¶

在终端输入:

echo -n "863224020062594" | md5 | awk '{print $1}'

终端发送邮件¶

1. 安装sendmail包

2. 配置sendmail /etc/mail.rc:

   set from=<from@com> smtp=<stmp.com>
   set smtp-auth-user=<from@com> smtp-auth-password=<password> smtp-auth=login
   

3. 启动sendmail服务:

   service sendmail start
   

4. mail -s ‘this is test’ yourmail@com

tips¶

• 要在远端最快启动一个静态文件服务器，用以下命令:

  python -m SimpleHTTPServer 7777
  

• tcpdump 过滤抓包:

  sudo tcpdump -t -XX -i eth0 src host 10.32.30.138  and port 80
  

• 在服务器上删除无用的log文件时, 最好使用 echo "" > access.log 代替 rm access.log, 因为该文件可能还在被进程不停的写，这时候删除了inode, 但磁盘空间并没有释放， 还需要用lsof来找问题.

进程¶

• 僵尸进程的目的，是子进程退出后，保留子进程的执行状态，以供父进程获取

• 任何长系统调用(会block的), 都有可能被信号中断， 像CHILD这样的信号。所以要检测EINTR(打断信号) 信号， 重启该系统调用

• 多进程 vs 多线程

  • 线程比进程更轻
  • 线程间同步、通信更容易
  • 进程更好隔绝问题，一个进程挂了不会影响其他进程， 而一个线程挂了，会导致这个进程内的所有线程都挂
  • 程间切换比进程间切换更轻；
  • 一个进程能打开的文件描述符是有上限的，如果有单进程多线程方式来写web server, 那么文件描述符资源就会是问题

• linux 系统load的含义

  对于单核机器来说，load=1.0 表示cpu的使用率已满(进程调度器中, ready的进程为0， running的进程刚好占满了运行队列), 这种情况下， 再多执行一个进程，这个新进程都要等待CPU有空再分片到自己. 对于多核机器，是累加关系。双核CPU的满负载状态,load=2.0, 四核满负载load=4.0

• 内核为每个进程维护着这个进程打开的文件表， 结构如下图

• 为什么操作系统要分用户态和内核态

  由于操作系统和用户共享了计算机系统的硬件和软件,必须保证用户程序中的一个出错仅影响正在运行的程序。采用共享,许多进程可能会受到一个程序中的一个漏洞 (bug) 的不利影响。例如,如果一个进程陷入死循环,那么这个死循环可能会阻止很多其他进程 的正确操作。在多道程序设计中可能会发生更为微妙的错误,如一个错误的程序可能修改另一个程序、另一程序的数据,甚至操作系统本身。 如果没有保护来处理这些错误,那么计算机只能一次执行一个进程,否则所有输出都 值得怀疑。操作系统的合理设计必须确保错误程序(或恶意程序)不会造成其他程序执行错误。(用户空间不允许访问某些东西，如: 进程表)

linux ext文件系统结构¶

tip¶

• 查看操作系统支持的文件系统

ls  -l  /lib/moudules/$(uname -r) /kernel/fs

开一个端口¶

注意要用 -I, 因为如果 iptable 中设置了 reject ALL, 那么如果用-A 的话， reject 的优先级会在新的append之前:

$> sudo iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport 9003 -j ACCEPT

保存配置¶

sudo iptables-save > /etc/iptables.up.rule

通用调优¶

> ulimit

core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 93592
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 1024
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

> netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"t",state[key]}'

    TIME_WAIT t 2727
    CLOSE_WAIT t 8
    SYN_SENT t 3
    FIN_WAIT1 t 56
    FIN_WAIT2 t 5915
    ESTABLISHED t 6813
    SYN_RECV t 87
    CLOSING t 6
    LAST_ACK t 130

好用的插件¶

要启用zsh的插件， 在~/.zshrc 中设置:

plugins=(git autojump last-working-dir tmux tmuxinator web-search fancy-ctrl-z themes)

• autojump
• last-working-dir
• tmux
• tmuxinator
• web-search
• fancy-ctrl-z

升级oh-my-zsh¶

要升级oh-my-zsh, 终端输入:

> upgrade_oh_my_zsh

用户反馈时间戳错乱¶

尝试使用mongoengine 的 singal 机制:

@classmethod
def pre_save(cls, sender, document, **kwargs):
    if not '_id' in document or document._created:
        timestamp = UTILS.current()
        today = UTILS.today()
        document.created_at = timestamp
        document.updated_at = timestamp
        document.date = today
        if document.content:
            document.content = document.content.strip()

对mongoengine document对象的_created 变量没有过多了解，只是按字面意思理解, 导致 所有save() 操作都会更新时间戳. 感悟:: 1. 事情对一个变量不了解，那么它很可能引发大得BUG, 不管这种可能性有多小, 它总会发生, 而且在最糟糕的时候发生 2. 数据一定要备份

黑客与画家¶

• 代码就像画画.画一幅好画,没有必要弄清楚每种颜料的原理,写好的代码,没有必要弄懂计算机的原理。
• 对大公司来说不是问题，因为生产特别优秀的产品不是它们的获胜手段。大公司只要做到不太烂，就能赢。
• 大不同才能小创新。
• 我们在Viaweb举办过一个比赛，看谁能说出我们软件中最差劲的地方。两位客服人员并列第一
• 向一个项目增加人手，往往会拖慢项目进程。随着参与人数的增加，人与人之间需要的沟通呈现指数式增长。人数越来越多，产生的bug也越多越多。
• 有钱的客户倾向于更贵的选择，即使便宜的选择更符合他们的需要，他们也不会买
• 首先，管理企业其实很简单，只要记住两点就可以了：做出用户喜欢的产品，保证开支小于收入。只要做到这两点，你就会超过大多数创业公司。
• 创业就是压缩
• 要致富，你需要两样东西：可测量性和可放大性。
• 乔布斯曾经说过，创业的成败取决于最早加入公司的那十个人。
• 你努力30倍，最后得到的回报在现实中并不是30倍，而是0到1000倍之间的一个随机数。
• 大多数时候，促成买方掏钱的最好办法不是让买家看到有获利的可能，而是让他们感到失去机会的恐惧
• 对速度的追求是人类内心深处根深蒂固的欲望。当你看着计算机这个小玩意，就会不由自主地希望程序运行得越快越好，真的要下一番功夫才能把这种欲望克制住。设计编程语言的时候，我们应该有意识地问自己，什么时候可以放弃一些性能，换来一点点便利性的提高。

google 时代工作方法¶

• 让信息尽可能快地离开大脑。
• 多重任务通常会让你降低效率。
• 进行组织安排时，要绕开的是实际制约而不是假性制约。
• 我每周都会安排时间阅读本周所有的会议笔记

一万小时天才理论¶

• 天才 = （10000 小时 X 精深联系） * 激情（兴趣）
• 精神练习要连续化， 练习打球，而不要一个动作、挥球、击球，一个动作一个动作去练习

魔鬼搭讪学¶

• 因为我知道即使追到了其实也留不住多久，我只是做一个男人在年轻时该做的事情，真正让我恐慌的不是眼前的美女而是流逝的时间。
• 其实，这跟我一贯强调的说真话原则也是一致的。扪心自问，我走过去搭讪，这跟她是哪里人、干什么工作、学什么专业根本就没有关系，我只是觉得她看着顺眼，我只关心此刻能跟她相处的时间，至于她的爱好和履历那都是以后的事情。
• 搭讪泡妞是一个做减法的过程，首先要认识了很多对象，然后再把其中对你不来电的拣出来筛掉，剩下的才是你美好生活的开始

害羞心理学¶

• 把自己的害羞置于一个心理学手术台上， 以一个外科医生冷静而超然的态度面对它
• 阅读好的报纸，电影，然后写影评
• 能够放得开的人，学东西越快
• 害羞的孩子，总是害怕做错任何事情

如何进行关键对话¶

• 当我们面对重要问题保持沉默时，我们的生活便开始上演悲剧了
• 在很多情况下，当上司或老板固执己见时，表现得高度自信时，人们往往倾向于抑制内心的真实想法，不敢冒犯具有权威的上级
• 为了吸引对方的注意力， 我们总是故作冷淡（这种思维方式简直是奇哉怪也!)
• 如果总是通过转移目标或掩饰问题的方式来营造虚伪的安全感时， 这种策略只能逃避真正的问题，永远不会真正解决问题
• 找到了共同目的， 你就有合理的理由和健康的气氛展开话题了
• 应当学会使用更准确的词汇来形容情绪和感受

哈佛凌晨四点半¶

• 尽力而为 与 竭尽全力 是存在差别的
• 那些能做成大事的人， 从来不会拒绝做小事
• 自信的人往往会看到好的一面， 并且会尽快找到解决问题的方法；不自信的人往往看到不好的一面，总是将细小的问题最大化
• 不要人云亦云
• 与其什么都不知道总以为自己是正确的，不如有些错误的想法

少有人走的路¶

• 父母的爱心至关重要， 即使家庭生活混乱， 倘若有爱存在， 照样可以培养出懂得自律的孩子
• 患有人格失调的父母， 为孩子树立的是反面的榜样。他们的病情，也会影响到婚姻、交友和事业。他们不肯担负自己的责任， 导致人生问题重重
• 一旦新的资讯与过去的观念发生冲突，需要对地图大幅度修正，我们就会感到恐惧，宁可对新的资讯视而不见。我们的态度也变得 相当奇特—-不只是被动抗拒新的资讯，甚至指责新的资讯混淆是非，说它们是异端邪说。 我们话费大量时间和精力，去捍卫 过去而陈腐的观念，却不去考虑如何更新旧的地图，这是多么可悲的事情啊!
• 和原始人相比，现代人已经发生诸多的变化，这说明我们完全可以在一定程度上，违背与生俱来的本性，发展第二天性。 人之为人，或许就在于我们可以超越本性
• 放弃人生的某些东西， 一定会给心灵带来痛苦。 不管是谁，经历人生的急转弯，都必须放弃某些快乐, 放弃属于自己的一部分. 回避放弃只有一个办法，那就是永远停留在原地，不让双脚踏上旅途
• 真正的爱是自由的选择。真正相爱的人，不一定非要生活在一起，充其量只是选择一起生活罢了.
• 真爱的本质，就是希望对方拥有独立自主的人格。
• 敢于追求独自主，本身就是自尊自爱的体现。我尊重自己，才不愿得过且过
• 不要喜欢教育别人 真正爱别人，就会承认对方和自己是不同的、完全独立的个体。基于这样的认识， 我们就不会轻易对他人说: “我是对的，你是错的”
• 传统的观念认为: 友谊意味着永不冲突，甚至意味着互相吹捧。 这样的友谊实际弱不经风， 它也不配称为友谊。 友谊需以爱为出发点, 适当的职责和批评是必不可少的, 帮助对方达到心智成熟
• 追求心智成熟， 不得不忍受痛苦，从童年的自我进入成年的自我，不得不摆脱孩子的身份，转而称为称职的父母.

如何阅读一本书¶

零成本创业¶

The writer give some suggestions for entrepreneur base on his experience. Instead of giving some actural suggestion, this book tell us what mind or character a entprepreneur should be take. It tell us that we should use boss’s mind to slove problem instead of employee’s.

• Entrepreneur find market first. Before thinking about funds, they must find out what to sell and how to sell. Funds is used to expand scale of business
• If you are willing to gathering a clique(呼朋引伴), feeling security behind people, then you are not suitable for entrepreneurship. Because entrepreneur must be take a risk by himself. This risk cannot transfer to another.
• Everything is matter of negotiation(谈判). The question is whether you have try.
• Usually only two kind of entrepreneur will be successful. The one focus on Product and the one foucs on Customer.
• We have read a book named 《Customer is Second》. Inside there is a word make me shock. It said: "Who will buy it even if your employee do not willing to buy it.
• "你不是不适应台北的生活，而是不适应一个人关在台北宿舍的生活。 那是坐牢，不是台北生活", 很多人有勇气去做某件事，却 不见得有勇气改变自己的生活
• The engineer I met usually relapsed into(陷入) computer. They contact to anthor rarely and most of them are uncommunicative. They cannot express their mind and don't have sense of organization. If they can overcome it, they will own high achievement(成就).
• Relationship between entrepreneur and marking. If we are a dog food company. Our consumer is Woman, cosutomer is Dog, and buyer is Husband. Producting is making perfect production and Marking is find Woman who feed dog.