这算是一个比较常见的场景，比如：不同的团队直接合作通过svn管理代码，但是团队内部用确是git；或者历史遗留项目已经在svn上了不能动，但是团队想使用git。注意这里svn或者git并不是彼此的一个mirror，而是需要双向同步。 作为半个devops我接到这个场景前前后后花了3周的时间吧，在stackoverflow上有这个问题的讨论：https…

虽然BBS的已经衰落了，而大部分有着悠久历史的BBS也进入了很不活跃的状态，然而经历过这个时代的人来说保留好这些历史数据作为一份回忆就很不错。最近有个朋友找到我帮忙处理一下他的BBS遇到的问题，他的BBS是10年前的discuz7.0没升级过，然后管理员密码被盗，被赵小姐灌水机器人每天发很多帖子，本人也无法登陆。我花了点时间处理了一下顺便把简单方案…

所谓的钓鱼就是指故意说一些不符合常理和事实的话，这是鱼饵，如果别人表示赞同的话，那么对方就咬钩了。比如有人在网上说“一氧化二氢这种化学物质对人体有怎样怎样的危害”，如果有人不知道水的化学名字可以读作一氧化二氢跑出来赞同的话，那么这个人就上钩了，这就是典型的一种钓鱼。有一些钓鱼可能连钓鱼的人自己都没有自觉，只是觉得这样说看别人的反应比较有趣，久而久之…

虽然有人批评这书不够还原史实+夹杂私货，不过我倒是认为对于大部分读者而言读着乐呵也是非常重要的，在B站上看到有人录了视频之后就迫不及待的下载了盗版的epub看起来了。由于我个人对罗马帝国兴趣不是那么大，所以只看了奥古斯都称帝前罗马王政+共和国700多年历史的前5卷。 读完之后我就问自己几个问题，然后靠自己的理解回答这些问题作为读后感。 1、为什么罗…

断断续续学习chromium已经好几个月了，基本上把能浏览的资料都大概看了一下，对chromium的代码有了大概的认识，作为一个爬虫工程师我有一些想法要在chromium上尝试。由于chromium内容实在是太庞大了，这个定制系列主要讲chromium中和我的想法实现有关的方面（也就是自动化定制相关），也算是对自己学习的一种督促吧。 在移动端已经成…

原帖：https://tieba.baidu.com/p/4851667473?see_lz=1&pn=1 转过来纯粹是很喜欢这作者的才华，想找找他别的作品来看，但这作者除了留了一篇同人之外没有别的信息，感觉文章任何时候都会消失一样就备份过来了。篇幅有7.6万字吧很良心，凑点够一卷10w字了，就是同人里大老师把团子的便当倒掉不能忍啊。 gi…

Github: gouchaoer/Increment_Backup_To_Hive Increment_Backup_To_Hive 一个增量备份关系数据库(MySQL, PostgreSQL, SQL Server, SQLite, Oracle等)到hive的php脚本工具 原理 由于sqoop可定制性太差，本工具针对增量备份场景，备份某张表…

这次自由行本来打算在c92节点上去的，但是由于拖延症导致筹划推迟一直到8月末才成行，总共东京玩了5天+京都玩了3天，算是尽兴而回了。 第一天：去东京挑的那种廉价机票所以到达时是晚上十点，所以订了胶囊旅馆打算住了一晚（我也很想体验一下这个），到了东京之后发现自己手机信号全无导致google map没法用，只能问路人怎么去胶囊旅馆。我到达的是航站楼1，…

我相信很多厂有把mysql表数据增量导入hive的需求，最近我有这个需求所以把注意点分享一下。 首先，这个任务大家肯定会想到sqoop这个专门的工具，我在折腾了很久这个工具之后意识到sqoop的可定制性太差了，很多细节没法自己控制，比如： 1、如果你要对一些字段进行脱敏或者增减字段，sqoop做不到；或者你想对hive表建表做一些定制，sqoop也…

首先是GUI客户端： 1、参考 几个连接HiveServer的客户端界面工具 - thy822的专栏 - CSDN博客 第一个SQuirrel SQL Client客户端：https://pan.baidu.com/s/1miSLSt6 ，下载下来，那几个jar包我已经去服务器上找好了打包直接下载：https://pan.baidu.com/s/1…