Jiao's LAB

MySQL连接过慢的一种情况

Tue, 03 Jul 2018 00:00:00 +0000

Case

开发测试中，测试服务器A和生产数据库服务器B位于内网同一网段，但是从服务器A连接数据库B大概需要10s的时间，命令行下ping，时间为0.001ms。

Why

对相关case进行搜索查询，查到了cnblogs上面这样一篇文章。

联想到之前远程登录ssh的时候，sshd的相关配置貌似也有一个DNS解析和反解的过程，估计大概就是这个情况。

MySQL为什么要对这个DNS进行反查呢？

原因大概是我们在授权GRANT的时候，有时会授予root@a.com这样的域名，所以MySQL就需要反查连接过来的IP到底是不是这个Domain呢。

禁用掉这个功能之后，肯定授权就只能IP了。

Solution

根据文章中的方法，需要进行mysql重启操作:

在my.cnf中添加如下配置
[mysqld]
skip-name-resolve

重启mysql服务

但是，这台服务器B是线上的生产数据库，不能随意重启，于是想到改数据库服务器B的hosts是否会生效呢？

# 在服务器B上面，对服务器A的内网IP写随便一个域名
192.168.1.1 ServerA

修改完成后，mysql的连接问题得到了解决。

Tips

DNS的确是基础服务一个不可或缺的部分，包括服务发现、服务降级在内，很多服务架构都需要这东西。

不过这也算小公司运维欠缺的一个坑吧。

Laravel - 利用Real-time Facade缩短测试中Mock类的代码

Mon, 26 Feb 2018 00:00:00 +0000

Inspiration

这篇文章启发自Laravel News最近的一篇文章Defense Programming: Anticipating Failures with Tests。

翻译下来应该是这样的：《防御式编程：参与到失败的测试中去》。看了看整篇文章，大概讲的就是一种测试第三方依赖的方法，而Laravel框架自5.5版本后有一种Real-time Facade，可以更加简化此类测试在Laravel中的写法。

Doc Abstract

随着现代企业技术的分工，大而全的应用和项目不复存在。“微服务”化的服务分拆、所谓“服务治理”、各种高大上的架构，大部分都基于Unix最原始的哲学“程序应该只关注一个目标，并尽可能把它做好”。

所以，当我们新开发一个功能的时候，很可能就会用到另外的服务。比如Laravel News这个网站，它的首页上面有些工作信息是来自于LaraJobs这个第三方网站的，而当LaraJobs这个网站服务不可用或停掉了之后，Laravel News这个网站的首页会发生些什么呢？

所以我们需要写一些服务失败时候的测试用例，以便我们更好的应对我们的功能。

Laravel中可以使用real-time facades对预期失败的服务进行测试，文中对“获取文章列表”这一Http服务进行举例。

假设“获取文章列表”这一服务为简单的Http服务，那么作为调用方，文中是通过注册一个单独的服务项进行的。

<?php

namespace App\Contracts;

interface ArticleRepository
{
    public function get();
}

<?php

namespace App\Repositories;

use GuzzleHttp\Client;

class ApiArticleRepository implements ArticleRepository
{
    public function __construct(Client $client)
    {
        $this->client = $client;
    }

    public function get($id)
    {
        return $this->client->get('posts', ['query' => ['id' => $id]]);
    }
}

通过注册ServiceProvider到容器中来保证单例：

<?php

namespace App\Providers;

use GuzzleHttp\Client;

class RepositroyServiceProvider extends \Illuminate\Support\ServiceProvider
{

    public function register()
    {
        $this->app->singleton('PostRepository',
                function() {
            return new \App\Repositories\ApiArticleRepository(new Client([
                'base_uri' => config('api.url')
            ]));
        });
    }

}

应用中使用这个服务的例子如下：

<?php

namespace App\Http\Controllers;

use App\Repositories\ApiArticleRepository as Repository;

class RegisterController extends Controller
{
    protected $repository;

    public function __construct(Repository $repository)
    {
        $this->repository = $repository;
    }

    public function view($id)
    {
        return view('artice.view', ['article' => $this->repository->get($id)]);
    }
}

那么，如何编写测试用例来测试失败的情况呢？

应该注意到，我们应该测试$this->repository->get($id)这段代码在Http请求出错时候的情况。

real-time facades可以帮助我们进行类似mock的测试，这在进行测试或mock数据的时候很有用。

那么我们需要将ApiArticleRepository改写成real-time facades的方式。

<?php

namespace App\Repositories;

use Facades\GuzzleHttp\Client;

class ApiArticleRepository implements ArticleRepository
{

    public function get($id)
    {
        return Client::get('posts', ['query' => ['id' => $id]]);
    }
}

这样，我们就可以通过real-time facades来进行我们想要进行的测试。

<?php

namespace Tests\Unit;

use Tests\TestCase;
use Illuminate\Foundation\Testing\DatabaseMigrations;
use Illuminate\Foundation\Testing\DatabaseTransactions;

/**
 * Description of ClientTest
 *
 * @encoding UTF-8 
 * @author jiaojie <jiaojie@didichuxing.com> 
 * @since 2018-02-27 11:12 (CST) 
 * @version 0.1
 * @description 
 */
class ClientTest extends TestCase
{

    /**
     * 
     * @test
     */
    public function testing_guzzle_exception()
    {
        \Facades\GuzzleHttp\Client::shouldReceive('get')->andThrow(
                new \GuzzleHttp\Exception\RequestException(
                "Error Communicating with Server", new \GuzzleHttp\Psr7\Request('GET', 'test')
                )
        );

//        $this->expectException(\GuzzleHttp\Exception\RequestException::class);
        $this->expectException(\GuzzleHttp\Exception\BadResponseException::class);

//        $response = \Facades\GuzzleHttp\Client::get('/');
//        $this->assertEquals(get_class($response), '1');
//        $this->assertStatus(500);
        
        $repo = resolve('PostRepository');
        $repo->get(1);
    }

}

Thoughts

使用real-tiem facades对外部服务进行测试，缩短了原来PHPUnit中使用mock/stub这样的代码，也有利于对故障排查的测试。

MySQL大数据分页、遍历

Fri, 22 Dec 2017 00:00:00 +0000

起因

公司业务有一项限额开关在一张表中用两个字段表示，通常情况下，这两个字段的设置是一样的；但是由于前人遗留下来的代码逻辑bug，导致某种业务情形下，两个字段的value会不一致，这就会影响所谓的企业下单打车。

代码层面的bug已然修复，但是过去的一个月之内，究竟有多少人通过这样的接口配置了不一样的数据呢？

这个就需要扫表进行查询和修复了。

扫表遇到的问题

由于表的数据量巨大，一次性的取出所有数据并进行查询不太现实，于是采用sql中分页的方法进行批量查询，然后逐个进行问题排查。

使用的sql类似下面这个样子：

SELECT * FROM test where status = 1 limit start, 1000

每1000个作为一个分页，然后逐步进行排查。

程序运行中出现了执行到30多页的时候，程序卡死的情况，然后找出执行的sql，直接连接mysql客户端进行查询，查出结果的时间竟然高达5s。

这时候突然想起来，mysql分页时间消耗会随着start值的增大而急剧增加。

解决办法

假定表明为test，拥有一个数字的非自增的PK为id，其他字段大概有20个，表数据大约为50w条。

正常分页sql及执行情况

假设执行查找某种where条件下从第30w开始，取10row的任务。

正常的sql应该是这么写的：

select * from test where status = 1 limit 300000, 10;
---
10 rows in set (0.49 sec)

优化方案

之前sina的dba进行过一次培训，大数据的分页可以优先取出PK，然后将表中数据按照PK条件进行查找。

类似下面的sql:

select * from test a , 
    (select id from test where status = 1 limit 300000, 10) b 
    where a.id  = b.id;
---
10 rows in set (0.06 sec)

这样的写法其实也可以写作inner join，

select * from test 
    inner join (select id from test  limit 300000, 10) t2 
    using (id);
---
10 rows in set (0.06 sec)

ToT

然而，这只是如果是业务接口分页时的解决方案，我们需要的是快速地扫描完整个表。

于是想到单独利用PK或者UNI进行大小判断是否可以解决这个问题。

select * from test 
    where status = 1 and id > xxx
    order by id asc
    limit 10
---
10 rows in set (0.00 sec)

xxx的值由程序进行控制，把上次sql搜索结果中最大的放进下次sql中，这样就能达到一个快速扫表的状态。

在禁用pid/pcntl/posix/exec系列函数的机器上部署单例cron任务

Wed, 13 Dec 2017 00:00:00 +0000

缘由

下午需要部署一组消费redis zset类型队列的任务：由于zset的zrangebyscore并不完全按照添加顺序进行输出，所以为了保证数据的有序性，需要对同时消费的进程进行数量限制（同时消费队列的进程不得超过1个）。

于是仿照服务进程的方式，写了一段将进程process id放置到xxx.pid文件中进行锁定的脚本。

class balabala {

    // ...

    public function index()
    {
        $pid     = getmypid();
        $pidFile = self::PID_FILE;
        if (file_exists($pidFile)) {
            $pid    = file_get_contents($pidFile);
            $output = shell_exec("ps aux | grep -v grep | grep {$pid} | grep php | grep index_prod | grep balabala");
            if (!empty($output)) {
                exit(0);
            }
        }
        file_put_contents($pidFile, $pid);
        for ($i = 0; $i < 100000; $i++) {
            // bla bla
        }
        unlink($pidFile);
    }

    // ...

}

后面觉得文件可能被不明程序干掉，然后换成了redis进行process id的存储。

class balabala {

    // ...

    public function index()
    {
        if ($this->redis->exists(self::PID_KEY)) {
            retry_loop:$pid    = $this->redis->get(self::PID_KEY);
            $output = shell_exec("ps aux | grep -v grep | grep {$pid} | grep php | grep index_prod | grep AsyncBatchMemberImport");
            if (!empty($output)) {
                exit(0);
            } else {
                $this->redis->del(self::PID_KEY);
            }
        }
        $ret = $this->redis->set(self::PID_KEY, getmypid(), array('nx'));
        if (false === $ret) {
            goto retry_loop;
        }
        for ($i = 0; $i < 100000; $i++) {
            // bla bla
        }
        $this->redis->del(self::PID_KEY);
    }

    // ...

}

运行起来之后，发现了一个奇怪的问题，getmypid返回的结果是null！

这并不科学，查了下PHP文档，其中是这么说的：

Description:
Gets the current PHP process ID.
Return Values:
Returns the current PHP process ID, or FALSE on error.

返回值为PHP进程pid，或者在发生错误时返回false，并没有null这样一个返回值。

那么是不是设置的问题呢？

果不其然，php.ini中disable_functions包含了这个函数。

同时被禁用的还有很多posix、shell相关的函数:

apache_note,apache_setenv,phpinfo,checkdnsrr,chgrp,chown,chroot,closelog,debugger_off
debugger_on,define_sys,define_syslog_variables,diskfreespace,disk_free_space,disk_total_space,dl
error_log,ftp_connect,ftp_get,ftp_login,ftp_pasv,getmxrr,getmypid,getmyuid,_getppid,getservbyname
getservbyport,highlight_file,ini_alter,ini_restore,ini_set,leak,listen,openlog,passthru
pclose,pcntl_alarm,pcntl_exec,pcntl_fork,pcntl_get_last_error,pcntl_getpriority,pcntl_setpriority
pcntl_signal,pcntl_signal_dispatch,pcntl_sigprocmask,pcntl_sigtimedwait,pcntl_sigwaitinfo,pcntl_strerror
pcntl_wait,pcntl_waitpid,pcntl_wexitstatus,pcntl_wifexited,pcntl_wifsignaled,pcntl_wifstopped,pcntl_wstopsig
pcntl_wtermsig,pfsockopen,php_uname,popen,popepassthru,posix,posix_ctermid,posix_getcwd,posix_getegid,posix_geteuid
posix_getgid,posix_getgrgid,posix_getgrnam,posix_getgroups,posix_get_last_error,posix_getlogin,posix_getpgid
posix_getpgrp,posix_getpid,posix_getppid,posix_getpwnam,posix_getpwuid,posix_getrlimit,posix_getsid
posix_getuid,posix_isatty,posix_kill,posix_mkfifo,posix_setegid,posix_seteuid,posix_setgid,posix_setpgid
posix_setsid,posix_setuid,posix_strerror,posix_times,posix_ttyname,posix_uname,proc_close,proc_get_status
proc_nice,proc_terminate,putenv,readlink,scandir,shell_exec,show_sourcymlink,sys_getloadavg,syslog
url_exec,eval,system,passthru

某些侵入性的探针会使用这些函数。如果是在web项目上禁用这些函数，还算正常，不过cron上面禁用这些，感觉就有些不对了。

解决问题

当然，如果写shell脚本限制进程数的话，这个问题很好解决，下面说说用php解决的一些想法。

pid在这里只是作为一个进程的标识，如果这个标识不能用，那么我们能否换一个标识呢？

既然我们的任务是运行在cli环境下的，那么我们每次生成一个随机的字符串作为唯一任务标识能否解决这个问题呢？

通过狗狗搜索，我们找到了这样一篇文章shell实例浅谈之三产生随机数七种方法

cat /dev/urandom | head -n 10 | md5sum | head -c 10

我们在部署cron时，添加上述脚本作为参数，作为启动php脚本的选项，作为唯一标识使用。

php script.php `cat /dev/urandom | head -n 10 | md5sum | head -c 10`

同时代码改成下面的样子：

class balabala {

    // ...

    public function index($uniqueId = 0)
    {
        $this->uniqueId = $uniqueId;
        if ($this->redis->exists(self::PID_KEY)) {
            $pid = $this->redis->get(self::PID_KEY);
            log_warning('ERP_IMPORT_ASYNC_INFO', "UniqueId {$pid} Still RUNNING");
            exit(0);
        }
        $ret = $this->redis->set(self::PID_KEY, $uniqueId, array('nx'));
        if (false === $ret) {
            log_warning('ERP_IMPORT_ASYNC_INFO', "Set PID FAILED, WILL RETRY, Current PID " . $uniqueId);
            exit(0);
        }
        $this->redis->expire(self::PID_KEY, 360);
        for ($i = 0; $i < 1000; $i++) {
            // bla bla
        }
        $this->redis->del(self::PID_KEY);
    }

    // ...

}

其他想法

如果我们把unique id生成器作为一种类似systemd的启动工具，项目中又集成了针对unique id的日志或项目数据，这时候进行trace和监控应该会变得极其容易。

类似一种分布式监控的样子吧。

PHP - exit and shutdown function

Wed, 01 Nov 2017 00:00:00 +0000

缘由

下午看业务代码的时候发现系统在输出json格式的数据的时候，使用了exit：

<?php
// bla bla bla ...
class Demo {
    protected function showSucc($errno = 0, $errmsg = '',$data=NULL,$flag=FALSE)
    {
        header('Content-Type:application/json');
        $out['errno'] = $errno;
        $out['errmsg'] = !empty($errmsg)?$errmsg:'SUCCESS';
        $out['data'] = $data;

        echo json_encode($out);

        if($flag)
        {
            $commonLog = $this->CommonLogModel->getLog();
            $commonLog['in'] = $commonLog['request'] = $_REQUEST;
            $commonLog['out'] = $commonLog['return'] = $out;
            $commonLog['errno'] = $out['errno'];
            $commonLog['msg'] = $out['errmsg'];
            $commonLog['errmsg'] = 'REQUEST_INFO';

            $filter = isset($commonLog['filter']) ? $commonLog['filter'] : array('company_id'=>'', 'out_order_id'=>'', 'order_id'=>'', 'phone'=>'');
            if(!empty($this->memberInfo))
            {
                $filter['company_id'] = $this->memberInfo['company_id'];
                $filter['phone']      = $this->memberInfo['phone'];
            }
            log_notice('showSucc', $commonLog, $filter);
//            log_monitor('showSucc', $commonLog, $filter);
        }

        exit;
    }
}

在exit之前，有一个记录日志的方法log_monitor，根据之前看的这套框架，系统的日志代码最终的save方法是注册在register_shutdown_function里面的，即程序退出时执行．

那么这个日志会不会上报上去呢？

Find out

俗话说，外事不决问狗狗．但是，PHP的问题呢，我们看manual就足够了．

打开关于exit的页面，一句话赫然入目：

Terminates execution of the script. Shutdown functions and 
object destructors will always be executed even if exit is called.

A-ao，原来exit是会调用注册的shutdown functions的，同时呢，也会调用各种对象的__destruct方法．

其实，exit就是一个平滑的退出过程吧，register_shutdown_function里面有一个Note:

Shutdown functions will not be executed if the process 
is killed with a SIGTERM or SIGKILL signal. While you cannot 
intercept a SIGKILL, you can use pcntl_signal() to install 
a handler for a SIGTERM which uses exit() to end cleanly.

大概意思是，当你使用信号SIGKILL和SIGTERM进行关闭的时候，注册的shutdown function不会被执行，当然SIGTERM可以用可以使用信号绑定到exit上面进行平滑的关闭．

其他想法

Manual上面一般都是关于正常情况的讨论，那么异常情况呢？

比如出现了Fatal Error呢？

于是有了下面这个栗子：

<?php

function foo()
{
    var_dump(microtime(true));
}

register_shutdown_function("foo");

var_dump(microtime(true));

baz();

exit;

显然，上面的栗子中baz()这个函数是不存在的，那么这一行就会出现Fatal Error．

这种情况下，其实shutdown function也生效了，是不是很惊讶. ToT

Thrift

Tue, 31 Oct 2017 00:00:00 +0000

缘由

入职滴滴大概三周了，这边的工作与在渣浪有很多的不同．这边的很多基础设施都是完善的，比如日志＼报警＼框架等．

这些还好，最大的变化是这边有了一些所谓服务治理相关的东西．

最早在ziroom的时候，php团队主要和java团队通过soap这种古老的webservice进行通信，也提供各种各样的http接口供各种java服务和app客户端使用；

sina财经主要是php编写的，系统之间的通信也是用http这样的接口进行的，某些核心系统HQ比较特殊，和其他系统用websocket进行通信．

这边组内大概是一种微服务化的架构，各个子系统一直在进行拆拆拆工作，它们之间主要通过http接口进行通信；而didi提供的基础服务主要是用thrift framework进行服务治理的，专快系统也使用Kafka作为队列推送给其他系统进行消费．

Kafka这种东西后面再说，这里先讲讲Thrift.

Thrift

什么是Thrift

如果上网查询的话，很多人会说Thrift是一个协议（protocol），didi内部wiki的很多接口文档也直接在协议一栏填写了Thrift．

但这样是不对的，引用stackoverflow上面的一句话：

First, Wikipedia is not an authoritative resource, so don't bet your whatever on it.

No, Thrift is not a binary communication protocol. Thrift is not a protocol at all.

Thrift is a framework that offers the ability to serialize into and communicate over 
various protocols and transports, which include HTTP and binary, but are by no means limited to that.

Thrift是一套RPC通信框架，根据github上面的Readme，实现了类似下面这副图的功能：

Thrift提供了上图最左侧的各种层级（操作系统＼编程语言＼底层传输协议＼数据封装＼数据协议＼服务器和客户端）的一个Option集合，使用Thrift框架主要是将系统使用的各种Case挑选出来，拼装成为数据Rpc调用的底层（通过gen实现），与上层业务逻辑无关，也适配各种编程语言．

什么情况用Thrift

Thrift跨语言，跨平台，是多个异构系统揉合成一体的一个中间件；它提供的Binary/Tcp/Buffered传输方式也在一定程度上减小了数据大小，节省了带宽．

官方提供的gen code也可以根据简单易懂的规范格式快速生产出中间件代码．

什么时候不用Thrift

事实上，Thrift也是一种RPC，和SOAP＼Restful＼HTTP Api这些也没有本质的区别．

主要的缺点也是服务端如果改变Api，那么所有使用的C端都要改变，版本不兼容；另外Binary传输也不利于数据排查．

举个🌰

Thrift最方便的就是能够自动生成各种语言的code，业务逻辑层面只需要关心调用逻辑即可，无需关注过于复杂的连接和协议代码．

要使用Thrift去生成代码，首先要安装这么一个工具官网link，按照Guide中的说明进行安装；当然，Ubuntu可以用apt install thrift，Mac可以用brew install thrift来进行预编译好的二进制安装．

安装完成之后，我们需要按照Thrift的语法书写一个文件，后面的各种语言的代码都是根据这个文件生成的，一般这种文件的后缀是.thrift．

这里推荐一本开源书[](http://diwakergupta.github.io/thrift-missing-guide/)，里面有一些介绍．

下面是我生成测试例子时候使用的idl文件：

namespace java site.jiaojie.test.thrift.demo
namespace php Jiaojie.Thrift.Test

service  HelloWorldService {
      string sayHello(1:string username)
}

按照文档中的说明，我们使用thrift --gen <language> hello.thrift生成对应编程语言的库文件．

Rpc的话，那么肯定分为Server和Client两端，下面用java实现一套简单的服务端。

Server

生成的java库文件如下所示：

我们建立一个Maven项目，引入org.apache.thrift的libthrift包，将生成的文件丢到相应的位置．

新建立一个实现sayHello方法的类HelloWorldImpl.java，具体代码如下:

package site.jiaojie.test.thrift.demo;

import org.apache.thrift.TException;

/**
 *
 * @author jiaojie <jiaojie@didichuxing.com thomasjiao@vip.qq.com>
 */
public class HelloWorldImpl implements HelloWorldService.Iface {

    public HelloWorldImpl() {
    }

    @Override
    public String sayHello(String username) throws TException {
        String output = "hello, " + username;
        System.out.println(output);
        return output;
    }

}

然后再实现我们运行的main class，HelloWorldServer.java:

package site.jiaojie.test.thrift.demo;

import org.apache.thrift.TProcessor;
import org.apache.thrift.protocol.TBinaryProtocol;
import org.apache.thrift.server.TServer;
import org.apache.thrift.server.TSimpleServer;
import org.apache.thrift.server.TThreadPoolServer;
import org.apache.thrift.transport.TServerSocket;
import org.apache.thrift.protocol.TJSONProtocol;

/**
 *
 * @author jiaojie <jiaojie@didichuxing.com thomasjiao@vip.qq.com>
 */
public class HelloServiceServer {

    public static final int SERVER_PORT = 8090;

    public void startServer() {
        try {
            System.out.println("HelloWorld TSimpleServer start ....");

            TProcessor tprocessor = new HelloWorldService.Processor<HelloWorldService.Iface>(new HelloWorldImpl());
            TServerSocket serverTransport = new TServerSocket(SERVER_PORT);
//            TServer.Args tArgs = new TServer.Args(serverTransport);
            TThreadPoolServer.Args tArgs = new TThreadPoolServer.Args(serverTransport);
            tArgs.processor(tprocessor);
            tArgs.protocolFactory(new TBinaryProtocol.Factory());
//            TServer server = new TSimpleServer(tArgs);
            TServer server = new TThreadPoolServer(tArgs);
            server.serve();
        } catch (Exception e) {
            System.out.println("Server start error!!!");
            e.printStackTrace();
        }
    }

    public static void main(String[] args) {
        HelloServiceServer server = new HelloServiceServer();
        server.startServer();
    }

}

这样就完成了Server的编写．

在编译过程中，遇到了一点小插曲

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".

根据一篇博客里面的信息，我们添加了slf4j-nop包进行解决．

Client

C端当然要用万能的PHP进行编写了，首先引入apache/thrift包，再按指定目录放入thrift生成的php文件，最后使用的composer.json文件如下：

{
    "name": "jiaojie/test",
    "description": "Description of project test.",
    "authors": [
        {
            "name": "jiaojie",
            "email": "thomasjiao@vip.qq.com"
        }
    ],
    "require": {
        "apache/thrift": "0.9.3"
    },
    "autoload": {
        "psr-4": {
            "Jiaojie\\": "src"
        },
        "classmap": [
            "src/Thrift"
        ]
    }
}

C端程序的编写要注意和Server端的协议一致，我在Server端采用了Socket+Binary的方式，所以C端也要采用相同的方式建立连接：

<?php

/*
 * Copyright (C) 2017 Didi
 *  
 *  
 * 
 * This script is firstly created at 2017-10-31.
 * 
 * To see more infomation,
 *    visit our official website http://home.didichuxing.com/.
 */

use Jiaojie\Thrift\Test\HelloWorldServiceClient as Client;
use Thrift\Transport\TCurlClient;
use Thrift\Transport\TSocket;
use Thrift\Protocol\TBinaryProtocol;
use Thrift\Transport\TBufferedTransport;
use Thrift\Transport\TFramedTransport;

require "vendor/autoload.php";

$client = new Client($input = new TBinaryProtocol($transport = new TBufferedTransport($sock = new TSocket("127.0.0.1", 8090, false, "var_dump"))));

$transport->open();

$output = $client->sayHello(rand());
$transport->close();

小结

这样就完成了一个简单的thrift示例．Didi的很多核心系统和基础设施都是通过这种Framework进行服务治理的，大概就这样^-^

从proc_open()打开的两个进程说起

Tue, 15 Aug 2017 00:00:00 +0000

起因

最近工作不太紧张，于是看起了《PHP Reactive Programming》这本书，其中举了个Chat Server的例子。

这是一个Cli App，默认启动一个Server Manager，根据Stdin的输入进行Chat Server的创建，Server Manager建立一个Unix Socket Server，其创建的Chat Server通过连接Socket Server与Server Manager进行状态通信；而Chat Server监听服务器的某个指定端口，创建一个WebSocket Server；其他客户端通过连接这个WebSocket Server进行Chat动作，而Chat Server会实时将在线、聊天数量上报给Server Manager。

用的当然是书中提到的Reactive Programming，使用了PHP的stream族函数进行非阻塞编程。

其中，由于之前对黄旭说过的socketpair比较感兴趣，所以详细看了一下Server Manager创建Chat Server的部分。

这一部分采用了symfony/process组件，对Chat Server的创建并不是通过fork的方式进行的，而是通过proc_open进行的。

之后，参照proc_open()文档中给的例子，在不同的机器上实验了一下，这就试出了毛病。

问题

<?php
$descriptorspec = array(
   0 => array("pipe", "r"),  // stdin is a pipe that the child will read from
   1 => array("pipe", "w"),  // stdout is a pipe that the child will write to
   2 => array("file", "/tmp/error-output.txt", "a") // stderr is a file to write to
);

$cwd = '/tmp';
$env = array('some_option' => 'aeiou');

$process = proc_open('sleep 100', $descriptorspec, $pipes, $cwd, $env);

if (is_resource($process)) {
    // $pipes now looks like this:
    // 0 => writeable handle connected to child stdin
    // 1 => readable handle connected to child stdout
    // Any error output will be appended to /tmp/error-output.txt

    fwrite($pipes[0], '<?php print_r($_ENV); ?>');
    fclose($pipes[0]);

    echo stream_get_contents($pipes[1]);
    fclose($pipes[1]);

    // It is important that you close any pipes before calling
    // proc_close in order to avoid a deadlock
    $return_value = proc_close($process);

    echo "command returned $return_value\n";
}

出现问题的操作系统是去年年底新装的Xubuntu 16.04/PHP 5.6，执行php sleep.php父进程下面竟然出现了两个进程。

然后，换到测试机器上面(CentOS 6/PHP 5.5)，执行相同的代码，父进程下面只挂着一个sleep 100的子进程，这个是正确的。

排查

初始以为是PHP版本造成的问题，然后Ubuntu和CentOS都换用PHP 7.0版本执行代码，然后结果相同，所以排除PHP版本造成的问题。

那么会不会是服务器版本造成的问题呢？

我想了一下，Ubuntu上面多出的一个进程是sh -c的进程，那么我们手工执行一下sh -c 'sleep 100'会发生什么呢？

于是在Ubuntu上面得到下面的结果，仍然是两个进程：

然而在CentOS上面，得到结果却只有一个sleep的进程：

那么，会不会是sh的问题呢？

解决

突然想起来，很久很久以前安装Ubuntu操作系统的时候，sh默认的都是dash，一般都要改成bash，会不会是dash造成的呢？

于是，在Ubuntu上面手工执行bash -c 'sleep 100'和dash -c 'sleep 100'，结果分别如下：

bash

dash

然后查看sh，果然是软链接到dash上面了。

将sh的软链接改到bash上面，PHP代码按照预期的结果执行下去了～

小结

PHP的proc_open系列函数在Linux操作系统中应该是通过系统默认的sh -c命令进行执行的，要把不同的sh带来的结果考虑进去。

PHP basic types' behavior in use section of closure

Thu, 27 Jul 2017 00:00:00 +0000

前天写的关于Closure中use的部分有点问题，use中传递php基本数据类型时，绝大多数情况都是传递的copy。

这个大多数情况包括boolean/integer/float/string和array这样的类型。

针对object的类型，传递的是引用，不需要加&符号。

针对null或者未初始化的变量，加&符号是保留一个对该命名的引用，之后这个名称下的所有变化都会涵盖到变量中。

针对resource的类型，根据文档，resource本身就是对外部资源的一个引用，而它的状态也是全局唯一的，所以这个也不需要加&符号。

use & Referance in PHP Closure

Tue, 25 Jul 2017 00:00:00 +0000

缘由

《PHP Reactive Programming》中有一个例子：

<?php
use Rx\Observable; 
use Rx\Scheduler\EventLoopScheduler; 
use React\EventLoop\StreamSelectLoop; 

$loop = new StreamSelectLoop(); 
$scheduler = new EventLoopScheduler($loop); 

$disposable = Observable::range(1, 5) 
    ->subscribeCallback(function($val) use (&$disposable) { 
        echo "$val\n"; 
        if ($val == 3) { 
            $disposable->dispose(); 
        } 
    }, null, null, $scheduler); 

$scheduler->start();

其中对$disposable对象中传递了一个closure，use的对象是带引用符号的$disposable，我尝试把引用符号去掉，然而程序报错PHP Notice: Undefined variable: disposable。

突然想起来之前做的一个形成cms菜单栏的方法，要求实现一个closure自身的递归，当时查到的解决方案就是使用&符号进行调用。

<?php
            $retChild = function($menu) use (&$retChild, $userMenu) {
                switch ($menu->depth) {
                    case 0:
                        $ret = "";
                        foreach ($menu->children as $child) {
                            $ret .= $retChild($child);
                        }
                        return $ret;
                    case 1:
                        $ret = <<<STR
<li class="header">{$menu->title}</li>
<li class="treeview">
STR;
                        $childRet = false;
                        foreach ($menu->children as $child) {
                            $childStr = $retChild($child);
                            if (!empty($childStr)) {
                                $ret .= $childStr . '</li><li class="treeview">' . "\n";
                                $childRet = true;
                            }
                        }
                        if (true === $childRet) {
                            $ret .= <<<STR
</li>
STR;
                            return $ret;
                        }
                        return "";
                    default:
                        if (empty($menu->icon)) {
                            $icon = "fa fa-link";
                        } else {
                            $icon = $menu->icon;
                        }
                        $ret = <<<STR
<a href="#"><i class='{$icon}'></i> <span>{$menu->title}</span> <i class="fa fa-angle-left pull-right"></i></a>
<ul class="treeview-menu">
STR;
                        $retChildStr = "";
                        if (!in_array($menu->id, array_keys($userMenu))) {
                            continue;
                        }
                        foreach ($menu->children as $child) {
                            if (!in_array($menu->id, array_keys($userMenu))) {
                                continue;
                            }
                            $childStr = $retChild($child);
                            if (!empty($childStr)) {
                                $retChildStr .= '<li class="treeview">' . $childStr . '</li>';
                            }
                        }
                        if (!empty($retChildStr)) {
                            $ret .= $retChildStr . "\n";
                        }

                        $retRowStr = "";
                        $routes = $menu->routesColl;
                        if (empty($routes) || $routes->isEmpty()) {
                            $retRowStr = "";
                        } else {
                            foreach ($routes as $route) {
                                $uri = $route->uri;
                                $descLong = $route->descLong;
                                $descShort = $route->descShort;
                                if ($route->monitorShow) {
                                    $retRowStr .= <<<STR
    <li><a href="/{$uri}" desc="{$descLong}">{$descShort}</a></li>
STR;
                                }
                            }
                        }
                        if (!empty($retRowStr)) {
                            $ret .= $retRowStr;
                        }

                        if (empty($retRowStr) && empty($retChildStr)) {
                            return "";
                        }

                        return $ret . '</ul>';
                }
            };

解释

凡是关于PHP的东西，一般都可以从文档上找到，即使文档中没有，那么下面的user notes里面也会存在。

匿名函数下面的Hayley Watson评论中就是针对这种情况举的一个例子，例子用Fibonacci数列进行示意。

<?php
$fib = function($n)use(&$fib)
{
    if($n == 0 || $n == 1) return 1;
    return $fib($n - 1) + $fib($n - 2);
};

echo $fib(10);

php的匿名函数中，如果use一个基本数据类型（非对象）的时候，传递的是当时此数据的快照；而use一个对象的时候，与函数参数中传递该对象相同，都是引用。

这一点可以参照mail at mkharitonov dot net里面的注释。

<?php
$aaa = 111;
$func = function() use($aaa){ print $aaa; };
$aaa = 222;
$func(); // Outputs "111"

<?php
$aaa = 111;
$func = function() use(&$aaa){ print $aaa; };
$aaa = 222;
$func(); // Outputs "222"

<?php
$aaa = 111;
$func = function() use(&$aaa){ print $aaa; };
$aaa = 222;
$func(); // Outputs "222"

<?php
class Foo
{

    public $foo = 'default';

}

$foo = new Foo;

$func = function() use ($foo) {
    echo $foo->foo . "\n";
};

$foo->foo = 'changable';
$func();// 输出 "changable"

NodeJS - 1. console

Sun, 16 Jul 2017 00:00:00 +0000

学习一门语言的过程中，调试这项技能一般是需要先点亮的，比如PHP中的var_dump()、JAVA中的System.out.println()等等。

JS中这个东西叫做控制台console，浏览器中我们一般用console.log()来进行调试输出；而在Node中，console的用法有了更多的诠释。

以下部分翻译自node.js文档-console。

Console模块

Console类

new Console(process.stdout, process.stderr)

创建一个新的Console对象可以通过传入一个或两个可写入的Stream实例。

全局的console就是一个传入了process.stdout和process.stderr的Console对象。

下面给出一个自定义Console对象的例子。

let fs = require('fs')
const output = fs.createWriteStream('./stdout.log');
const errorOutput = fs.createWriteStream('./stderr.log');

// custom simple logger
let Console = require('console').Console

const logger = new Console(output, errorOutput);

// use it like console
const count = 5;
logger.log('count: %d', count);

log/info/warn/error

console.log([data][, ...args])

console.log的用法和浏览器中的基本相同，在node中console.log将信息输出到指定的Stream中，一般情况下为process.stdout。

info和warn是log的别名，用法和log相同。

传入该方法的参数，都会通过util.format()方法进行格式化。

error方法会将信息输出到另外一个Stream中，一般为process.stderr。

time/timeEnd

console.time(label)
//...
console.timeEnd(label)

这是一组打点的方法，会在标准输出中打印出两段代码中间部分代码的执行时间。

console.time('small loop')
for (var i = 1; i < 10000000; i++) {
}
console.timeEnd('small loop')
//small loop: 9.721ms

assert

console.assert(value[, message][, ...args])

用于断言的方法，如果传入value为非true，那么将会抛出AssertionError，并将后面的参数传入util.format()方法进行格式化错误输出。

在浏览器中，assert方法只会将错误信息打印到控制台上，而在node中，错误将会被抛出，如果没有相关的捕获程序，程序将中止。

dir

console.dir(obj[, options])

dir方法使用util.inspect()方法作用于参数对象，并将输出结果打印到标准输出上。

options有三个选项showHidden、depth、colors。