这算是一个比较常见的场景，比如：不同的团队直接合作通过svn管理代码，但是团队内部用确是git；或者历史遗留项目已经在svn上了不能动，但是团队想使用git。注意这里svn或者git并不是彼此的一个mirror，而是需要双向同步。 作为半个devops我接到这个场景前前后后花了3周的时间吧，在stackoverflow上有这个问题的讨论：https…

虽然BBS的已经衰落了，而大部分有着悠久历史的BBS也进入了很不活跃的状态，然而经历过这个时代的人来说保留好这些历史数据作为一份回忆就很不错。最近有个朋友找到我帮忙处理一下他的BBS遇到的问题，他的BBS是10年前的discuz7.0没升级过，然后管理员密码被盗，被赵小姐灌水机器人每天发很多帖子，本人也无法登陆。我花了点时间处理了一下顺便把简单方案…

Github: gouchaoer/Increment_Backup_To_Hive Increment_Backup_To_Hive 一个增量备份关系数据库(MySQL, PostgreSQL, SQL Server, SQLite, Oracle等)到hive的php脚本工具 原理 由于sqoop可定制性太差，本工具针对增量备份场景，备份某张表…

我相信很多厂有把mysql表数据增量导入hive的需求，最近我有这个需求所以把注意点分享一下。 首先，这个任务大家肯定会想到sqoop这个专门的工具，我在折腾了很久这个工具之后意识到sqoop的可定制性太差了，很多细节没法自己控制，比如： 1、如果你要对一些字段进行脱敏或者增减字段，sqoop做不到；或者你想对hive表建表做一些定制，sqoop也…

首先是GUI客户端： 1、参考 几个连接HiveServer的客户端界面工具 - thy822的专栏 - CSDN博客 第一个SQuirrel SQL Client客户端：https://pan.baidu.com/s/1miSLSt6 ，下载下来，那几个jar包我已经去服务器上找好了打包直接下载：https://pan.baidu.com/s/1…

很多时候我在linux主机上只使用特定版本的php-cli来搞一下运维或者开Workerman/swoole之类的php-cli应用，但是我又不想使用linux的包管理来安装php，因为这样麻烦龟速、把系统搞乱以及安装的php版本依赖也许会不同，我就想linux下能不能有想windows下那样方便的绿色版的php（windows下的官方提供了绿色版…

花了几天时间做了这么一个小玩意儿，动机是我平常用redis的场合挺多的，但是redis本身缺乏用户权限控制导致很多情况下没法用。我们知道redis作为一个缓存，只支持简单的密码验证，所有用户都在任意数据库执行任何命令。我总结了几个用redis比较困扰的场景： 1、团队的很多服务都依赖同一个redis，很多时候免不了误操作，比如队友不小心flusha…

著名的php框架phalcon为了更好的用C语言开发php扩展而发明了语言zephir，编译时zephir会被翻译成C语言然后编译成php扩展，我个人很喜欢这门语法朴素+规规矩矩+不装逼的语言。 我平时在windows下工作，目前网上搜索到的在windows下用zephir写扩展的教程都已经过时了，我花了点时间打通了一下。我环境windows 7 …

手里有个爬虫收到报警没成功，然后去查数据库发现状态码都是对的，最终原因是mysql的一个MEDIUMTEXT字段存的一个json字符串化的数据被截断了（直接导致这个数据解析失败）。 一开始我还以为是我用的GUI管理工具一次性没法取回这么大数据，于是换了另一个GUI工具还是不行，然后换命令行操作发现还是截断的，这就明白了的确是字符串被截断了。我们知道…

在上篇中，我主要讲了用PHP写爬虫时的一些经验，在下篇中我会对Selenium进行展开，把我总结的Selenium技巧和一些坑的处理方法介绍给大家。 上篇：《最好的语言PHP + 最好的前端测试框架Selenium = 最好的爬虫（上）》 为什么是Selenium 在简单的爬虫中直接用httpclient就可以爬了，但是反爬虫比较厉害的情况下，有很…