反馈系统问题当然需要具体的证据，程序员想证明您的同事写的代码一般般，必须拿数据说话。“工欲善其事，必先利其器”，所以找到各种利器是你的不二法宝，随手搭建一个Jenkins + Sonar的系统，导入你们的代码，然后搞个PPT show给你的同事们，让他们当场脸红。您至少可以列出以下事实：

• 代码注释率，有没有30%？
• 测试代码覆盖率有多少？
• 重复代码量，是否高于5%？
• 哪些地方的代码需要重构，可以一一列出；
• 通过timemachine看看复杂度，覆盖率，方法复杂度的变化。给出你的建议
• ……剩下的就是自己去研究sonar

    或者您可以懒惰一点，给IDE安装一个findbugs去找出系统中的100个问题，如果您觉得想找出更多问题，可以考虑给您的IDE安装一个checkstyle，列出200个系统问题。当然没有前面的方法酷而已。
    当然如果你是真正的高手，你需要教一下我在不适用任何工具的情况下，最快的速度把代码中的问题查找出来。查找代码的问题只是小Case，能够通过代码看出系统架构设计的问题才是牛人。例如：日志的规范化，测试的框架化，核心系统plugin的构建，框架的深入使用，服务的抽离……
    这个一个没有止境的工作，所以没事只需要行动，不要说话。

    $ ssh x.x.x.x 'uname -a' -- 输出略

    $ cat fabfile.py
    from fabric.api import run
    def uname():
        run('uname -a')
    $ fab -H x.x.x.x uname -- 输出略

    env.host           -- 主机ip，当然也可以-H参数指定
    env.password       -- 密码，打好通道的请无视
    env.roledefs       -- 角色分组，比如：{'web': ['x', 'y'], 'db': ['z']}
    
    fab -l             -- 显示可用的task（命令）
    fab -H             -- 指定host，支持多host逗号分开
    fab -R             -- 指定role，支持多个
    fab -P             -- 并发数，默认是串行
    fab -w             -- warn_only，默认是碰到异常直接abort退出
    fab -f             -- 指定入口文件，fab默认入口文件是：fabfile/fabfile.py
    更多请参考：fab --help

    local('pwd')                     -- 执行本地命令
    lcd('/tmp')                      -- 切换本地目录
    cd('/tmp')                       -- 切换远程目录
    run('uname -a')                  -- 执行远程命令
    sudo('/etc/init.d/nginx start')  -- 执行远程sudo，注意pty选项

    $ cat fabfile.py
    from fabric.api import *
    @task
    def nginx_start():
        ''' nginx start '''
    sudo('/etc/init.d/nginx start')

    @task
    def nginx_stop():
        ''' nginx stop '''
        sudo('/etc/init.d/nginx stop')
        
    $ fab --list      -- 查看可用命令
    Available commands:

        nginx_start  nginx start 
        nginx_stop   nginx stop
    
    $ fab -H x.x.x.x nginx_start  -- 启动 nginx

    $ cat fabfile.py
    from fabric.api import *
    env.roledefs = {'nginx': ['x.x.x.x', 'y.y.y.y'], 'mysql': 'z.z.z.z'}
    @task
    def mysql_start()
        ''' mysql start '''
        sudo('/etc/init.d/mysql start')
        
    $ fab --list      -- 查看可用命令
    Available commands:

        nginx_start  nginx start 
        nginx_stop   nginx stop
        mysql_start  mysql start
    
    $ fab -R nginx nginx_start  -- 启动 nginx
    $ fab -R mysql mysql_start  -- 启动 mysql

    $ cat fabfile
    def hello():
        ''' test hello '''
        with lcd('/tmp'):  # 切换到 /tmp 目录下
            local('svn co http://xxx xxx') # check 代码到本地
            local('tar czf xxx.tar.gz xxx/') # 压缩本地包
            put('xxx.tar.gz', '/tmp') # 上传压缩包到远程 /tmp 目录下
        with cd('/tmp'):   # 切换到远程 /tmp 目录
            run('tar zxf xxx.tar.gz') # 远程解压

• Consistency(一致性)，数据一致更新，所有数据变动都是同步的
• Availability(可用性)，每个操作都必须以可预期的响应结束
• Partition tolerance(分区容错性)，即使出现单个组件无法可用,操作依然可以完成

• Atomicity（原子性），事务中的所有操作,要么全部成功,要么全部不做.
• Consistency（一致性）在事务开始与结束时,数据库处于一致状态.
• Isolation（隔离性） 事务如同只有这一个操作在被数据库所执行一样.
• Durability（持久性）. 在事务结束时,此操作将不可逆转.(也就是只要事务提交,系统将保证数据不会丢失,即使出现系统Crash,译者补充).

• Basically Available（基本可用）
• Soft-state（ 软状态/柔性事务）
• Eventual Consistency（最终一致性）

2：分布式系统基础组件

RPC

• Google Protocol Buffer
  • http://code.google.com/p/protobuf/
  • Protocol Buffers are a way of encoding structured data in an efficient yet extensible format.
• Thrift
  • "Thrift: Scalable Cross-Language Services Implementation"
  • Thrift 主页
• SEDA，论文 "SEDA: An Architecture for Well-Conditioned, Scalable Internet Services"

message queue

• RabbitMQ: http://www.rabbitmq.com/
• ZeroMQ: http://www.zeromq.org/
• celery: http://celeryq.org/
• ActiveMQ: http://activemq.apache.org/

failure detection

• “The φ Accrual Failure Detector”

分布式系统中的一致性

• "Principles of Computer Systems Design" 第十章（可以到MIT 网站下载）
• 虚拟同步（virtual synchrony）系统
  • K.P. Birman 的两篇论文，讲述虚拟同步的概念的实现方法
    • Reliable Communication in the Presence of Failures
    • Exploiting virtual synchrony in distributed systems
  • 扩展的虚拟同步（Extended Virtual Synchrony），也称为 TOTEM 协议
    • Y. Amir 等，"The Totem Single Ring Ordering and Membership Protocol"
    • L.E. Moser 等，"Extended Virtual Synchrony"
  • Corosync 是 TOTEM 协议的一个开源实现，当前 RedHat 等提供的企业集群使用它作为一致性协议。
    • Corosync 的相关资料 http://en.wikipedia.org/wiki/Corosync_(project)
• 采用类似 Paxos 算法的系统
  • Leslie Lamport, "Paxos Made Simple"
  • "Paxos Made Live - An Engineering Perspective" Google 实现 Paxos 算法时的工程考虑。
  • Zookeeper，两篇介绍 ZooKeeper 的论文
    • ZooKeeper: Wait-free coordination for Internet-scale systems
    • A simple totally ordered broadcast protocol
  • Google 的 Chubby，"The Chubby lock service for loosely-coupled distributed systems"
• 最终一致性
  • 最终一致性概念
  • Cassandra 中最终一致性的应用
    • 基于 Gossip 协议的组成员管理，论文 "Efficient Reconciliation and Flow Control for Anti-Entropy Protocols"
    • 基于 Merkle tree 的数据同步算法：“Informed content delivery across adaptive overlay networks”
• CAP 理论
  •  http://lpd.epfl.ch/sgilbert/pubs/BrewersConjecture-SigAct.pdf
  •  http://www.julianbrowne.com/article/viewer/brewers-cap-theorem
• BASE 理论 http://queue.acm.org/detail.cfm?id=1394128

3：分布式数据库和分布式文件系统

Google File System

• Hadoop Distributed File System (HDFS)，http://hadoop.apache.org/hdfs/
• 论文 “The Google file system”

MooseFS

• http://www.moosefs.org/

Ceph

• http://ceph.newdream.net/
• 论文 "CEPH: RELIABLE, SCALABLE, AND HIGH-PERFORMANCE DISTRIBUTED STORAGE"

Dynamo

• 论文 "Dynamo: Amazon’s Highly Available Key-value Store"

Big Table

• http://hbase.apache.org/
• 论文 "Bigtable: A Distributed Storage System for Structured Data"

Cassandra

• http://cassandra.apache.org/
• 论文 "Cassandra - A Decentralized Structured Storage System"

Parallel Database

• Yahoo! PNUTS 论文 "PNUTS: Yahoo!’s Hosted Data Serving Platform"
• GreenPlum 并行数据库，私有软件，非开源
• HadoopDB，论文 "HadoopDB: An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads"

分布式数据库对比

论文 "Benchmarking Cloud Serving Systems with YCSB"

4：大规模数据处理

• MapReduce
• Hive, Pig
  • Hive 论文 "Hive – A Petabyte Scale Data Warehouse Using Hadoop"
  • Pig 论文 "Pig Latin: A Not-So-Foreign Language for Data Processing"
• search engine (Lucene)

5：关系数据库

• 数据库设计与实现基本理论
  • Book "Database System Implementation"
• transaction processing
  • Book "Transaction Processing: Concepts and Techniques"
  • Book "Principles of Transaction Processing, Second Edition"
• 性能优化
  • Book "High Performance MySQL"
  • Book "Physical Database Design"
• SQLite 代码分析
• PostgreSQL

6：分布式系统理论研究

    这几本书里面，"distributed algorithms" 比较偏重纯理论，与实际技术相关性不大，阅读优先级较低；"distributed systems: principles and paradigms" 讲了不少实际系统，但是讲的不是很深入（也很难讲深入），初学者可以先浏览一遍；"Principles of computer systems design: an introduction" 是一本新书，对系统设计的很多思想讲的很透彻清晰，优先级较高。

• Lynch's book "distributed algorithms"
• Tanenbaum's book "distributed systems: principles and paradigms"
• "Principles of computer systems design: an introduction"
• CAP theorem paper, "Brewer's conjecture and the feasibility of consistent, available, partition-tolerant web services"

修改nginx配置文件，添加如下记录

location ~ /\/you_url {

    return 404;

}

问题：发现请求堵塞在haproxy上面去了

acl invalid_req url_sub -i c=220

block if invalid_req 

问题：依然不能解决haproxy堵塞的问题

在nginx下找到IP最多的几个IP，到/data/management/logs中去执行

得到访问最多的IP列表

通过vim的列编辑功能，限制这些ip的访问。（300个是可以继续加大的，看最后一行的最小值）

iptables -I INPUT -s 218.66.51.197 -j DROP

iptables -I INPUT -s 183.205.228.248 -j DROP

iptables -I INPUT -s 59.39.181.217 -j DROP

iptables -I INPUT -s 218.76.255.3 -j DROP

iptables -I INPUT -s 110.81.116.67 -j DROP

iptables -I INPUT -s 220.178.35.226 -j DROP

iptables -I INPUT -s 218.207.198.17 -j DROP

iptables -I INPUT -s 61.175.231.96 -j DROP

iptables -I INPUT -s 221.193.244.115 -j DROP

iptables -I INPUT -s 171.36.103.115 -j DROP

解封1：

iptables -L INPUT

iptables -L --line-numbers 然后 iptable -D INPUT 序号

解封2：

 iptables -F   来清空，（比较危险）

iptables -D INPUT 数字

正确的思路是查找Haproxy机器的所有连接IP数，然后查找IP数大于某个值的IP，在防火墙层面静止这些IP访问。

安装

wget http://www.inetbase.com/scripts/ddos/install.sh

chmod +x install.sh

./install.sh

卸载

wget http://www.inetbase.com/scripts/ddos/uninstall.sh

chmod +x uninstall.sh

./uninstall.sh

具体使用可以去自行研究，可以把里面的脚本挪出来，简单粗暴的防止DDOS！