1. 使用canal+Kafka进行数据库同步实践

    在微服务拆分的架构中,各服务拥有自己的数据库,常常会遇到服务之间数据通信的问题,B服务数据库的数据来源于A服务的数据库。A服务的数据有变更操作时,需要同步到B服务中。

    2020/07/03 System Design

  2. 最近工作总结(39)

    尽量不要使用SELECT * 不需要的列会增加数据传输时间和网络开销。需要解析更多的对象、字段、权限、属性等内容,在SQL语句复杂,硬解析较多的情况下,会对数据库造成沉重的负担,大的文本会增加网络开销 对无用的打字单会增加io操作。长度超过728字节的时候,会先把超出的数据序列化到另一个地方,因此读取这条记录会增加一次io操作(MySQL InnoDB) 失去MySQL优化器”覆盖索引”策略优化的可能性。首先要通过辅助索引过滤数据,然后再通过聚集索引获取所有的列,这就多了一次b+树查询。原本可能只通过辅助索引即可拿到所需要的字段数据

    2020/07/01 Work

  3. 最近工作总结(38)

    TiDB binlog 同步到MySQL时,TiDB会把SQL语句进行重新组装,比如UPADATE 拆分成DELETE 然后REPLACE INTO,这样通过binlog恢复或同步数据会有更高的性能吧。但是如果需要binlog原始操作逻辑进行区分的,这种重组方式就不合适了

    2020/06/08 Work

  4. 从0开始分布式缓存系统设计

    2020/05/29 System

  5. 最近工作总结(37)

    分布式ID生成的几种方案选择 https://www.cnblogs.com/cider/p/11776088.html https://tech.meituan.com/2017/04/21/mt-leaf.html snowflake 会遇到时间回拨的问题,一种解决思路:https://juejin.im/post/5a7f9176f265da4e721c73a8

    2020/05/13 Work

  6. 记一次TiDB SLOW Query问题追踪

    某日无事,想看看数据库的业务和性能方面有没有潜在问题,通过TiDB的INFORMATION_SCHEMA数据库SLOW_QUERY表,发现了大量INSERT INTO的慢日志,执行时间在0.3-1.5s之间,平均每几秒钟就有一条。

    2020/04/30 Distribute

  7. 最近工作总结(36)

    修改Go Module相关环境变量 export GOPROXY=https://goproxy.cn,direct export GOSUMDB=sum.golang.google.cn (此地址未被墙)

    2020/04/11 Work

  8. Good Bye 2019

    已经忘了上一次写年终总结是什么时候,觉得有些感想和记忆,用文字记录下来,才不会变得越来越模糊,直到再也没法想起。2019年,我觉得过得很认真,很充实,这是来自心底的感受。有开心快乐,有挑战自我,有新事物,新体验,也有悲伤和痛苦。觉得像是gap year,自己在这一年尝试了很多新的事物,有很多新的领悟和感受,个人的思想,见识等都得到了提升,我知道这一年我的没有停滞不前,keep moving on。

    2020/03/08 Life

  9. 最近工作总结(35)

    Casbin API 简单了解

    2020/03/07 Work

  10. 最近工作总结(34)

    用struct{}{}来表示空或无用值能节省空间,struct{}{}的size是0

    2020/01/06 Work

  11. 关于分布式锁的学习与思考

    http://baotiao.github.io/2017/09/12/distributed-lock/

    2020/01/05 Distribute

  12. 最近工作总结(33)

    Golang原始 IN SQL语句构造

    2019/11/05 Work

  13. 最近工作总结(32)

    Which concurrent map to use That very much depends on your concurrency needs, your hardware, and your requirements, but a few rules of thumb that might or might not help:

    2019/10/07 Work

  14. 最近工作总结(31)

    只需五步,自己动手写一个静态博客 收集markdown列表 解析markdown源 生成博客文章 生成博客首页索引 开始编译 http://muxueqz.top/a-small-static-site-generator.html https://blog.thea.codes/a-small-static-site-generator/

    2019/09/03 Work

  15. 最近工作总结(30)

    简单理解行数据库和列数据库

    2019/08/02 Work

  16. CSRF Token 生成方法原理

    最近又看了一下CSRF攻击的内容,将CSRF token的生成算法也熟悉了一下,在此做总结。

    2019/07/31 Work

  17. Know more about go concurrency bugs

    关于go concurrency bugs的学习记录,来源于github项目

    2019/07/10 Golang

  18. 最近工作总结(29)

    WaitGroup 不能被拷贝传递

    2019/07/01 Work

  19. 最近工作总结(28)

    在一个SaaS或PaaS系统中,唯一属性的是company_id(company)

    2019/06/02 Work

  20. 东京之行

    东京之行游记。旅行不仅仅只是“上车睡觉,下车拍照”,而是要记录下在另一个世界的思考、不一样的生活和知识,这段经历,会真正成为你的人生财富。

    2019/05/25 Life

  21. 最近工作总结(27)

    Golang构造hook函数方式的思路

    2019/05/07 Work

  22. 最近工作总结(26)

    Microservices Concerns

    2019/04/03 Work

  23. 最近工作总结(25)

    sendFile in Kafka Kafka 在数据写入及数据同步采用了零拷贝(zero-copy)技术,采用sendFile()函数调用, sendFile() 函数是在两个文件描述符之间直接传递数据,完全在内核中操作, 从而避免了内核缓冲区与用户缓冲区之间数据的拷贝,操作效率极高

    2019/03/06 Work

  24. 最近工作总结(24)

    TiDB 通过索引查询和直接扫描 Table 的区别

    2019/02/02 Work

  25. 我理解的HTTPS(一)

    HTTPS

    2019/01/11 Work

  26. 数字证书与数字签名

    最近工作内容和电子签名、电子合同相关,并且将所了解的内容总结在部门内部进行了分享。在这里,写下这篇blog,做总结梳理。

    2019/01/09 Work

  27. 最近工作总结(23)

    Hash Func result length and bit size

    2019/01/07 Work

  28. 最近工作总结(二十二)

    docker使用小结

    2018/12/28 Work

  29. 我决定的简单生活-启蒙

    2018/11/23 Life

  30. 最近工作总结(二十一)

    Base64对字符串或数据编码,得到的结果可能大小增大

    2018/11/20 Work

  31. Leader In The Team Not Just A Title

    2018/11/03

  32. 最近工作总结(二十)

    Linux系统下,查询当前目录下大文件夹,大文件数据

    2018/10/13 Work

  33. Write Cool Codes In Golang Project

    It is happy to use sync.RWMutex with map

    2018/09/29 Golang

  34. 最近工作总结(十九)

    F in 0x 16进制 在16进制中(0x),F表示为二进制是: 1111,整数值为:15。16进制中的每个元素为4个bit位,一个字节是8个bit位 两个ff => 1111 1111 => 255

    2018/09/03 Work

  35. Why do B and B+ tree are good for MySQL index

    数据库索引-B树 VS B+树

    2018/08/30 Database

  36. RabbitMQ Cluster Thoughts

    RabbitMQ 集群安装

    2018/08/06 Server

  37. 最近工作总结(十八)

    关于文档和配置文件

    2018/08/01 Work

  38. RabbitMQ practice example in Golang with some thoughts

    环境 Mac OSX rabbitmq-server -detached 启动一个rabbitmq服务

    2018/07/22 Server

  39. 最近工作总结(十七)

    运营开发思维

    2018/06/27 Work

  40. 最近工作总结(十六)

    Tow point about Heap struct

    2018/06/03 Work