虽然BBS的已经衰落了,而大部分有着悠久历史的BBS也进入了很不活跃的状态,然而经历过这个时代的人来说保留好这些历史数据作为一份回忆就很不错。最近有个朋友找到我帮忙处理一下他的BBS遇到的问题,他的BBS是10年前的discuz7.0没升级过,然后管理员密码被盗,被赵小姐灌水机器人每天发很多帖子,本人也无法登陆。我花了点时间处理了一下顺便把简单方案…
Github: gouchaoer/Increment_Backup_To_Hive Increment_Backup_To_Hive 一个增量备份关系数据库(MySQL, PostgreSQL, SQL Server, SQLite, Oracle等)到hive的php脚本工具 原理 由于sqoop可定制性太差,本工具针对增量备份场景,备份某张表…
很多时候我在linux主机上只使用特定版本的php-cli来搞一下运维或者开Workerman/swoole之类的php-cli应用,但是我又不想使用linux的包管理来安装php,因为这样麻烦龟速、把系统搞乱以及安装的php版本依赖也许会不同,我就想linux下能不能有想windows下那样方便的绿色版的php(windows下的官方提供了绿色版…
花了几天时间做了这么一个小玩意儿,动机是我平常用redis的场合挺多的,但是redis本身缺乏用户权限控制导致很多情况下没法用。我们知道redis作为一个缓存,只支持简单的密码验证,所有用户都在任意数据库执行任何命令。我总结了几个用redis比较困扰的场景: 1、团队的很多服务都依赖同一个redis,很多时候免不了误操作,比如队友不小心flusha…
著名的php框架phalcon为了更好的用C语言开发php扩展而发明了语言zephir,编译时zephir会被翻译成C语言然后编译成php扩展,我个人很喜欢这门语法朴素+规规矩矩+不装逼的语言。 我平时在windows下工作,目前网上搜索到的在windows下用zephir写扩展的教程都已经过时了,我花了点时间打通了一下。我环境windows 7 …
在上篇中,我主要讲了用PHP写爬虫时的一些经验,在下篇中我会对Selenium进行展开,把我总结的Selenium技巧和一些坑的处理方法介绍给大家。 上篇:《最好的语言PHP + 最好的前端测试框架Selenium = 最好的爬虫(上)》 为什么是Selenium 在简单的爬虫中直接用httpclient就可以爬了,但是反爬虫比较厉害的情况下,有很…
为什么是PHP 其实就目前业界来说,python下的爬虫轮子是最多的,我厂大多数同学都用python搞爬虫。我由于原来搞web后端用PHP比较多,对PHP下的生态和第三方库啥的如数家珍,厂里对使用的语言也不做强制要求,所以我就用最拿手的PHP开搞了。有同学可能会觉得PHP下爬虫轮子似乎不多,甚至有部分做惯了PHP后台的同学在需要完成爬虫任务时也拿起…
目前这小半年都在用php做一些爬虫类的活儿,回想起来php强大的web内容处理让我工作的很高效,可以在目前业界没有通用方案可以参考的前提下很快摸索出合适的方案。我也对php的一些优缺点有了进一步的看法,这些观点我可能在别的社区阐述过,这里就稍微整理一下加深我对php的理解。 缺点: 1、php 最大的缺点就是没有连接池,因为不是常驻内存。虽然可以选…
开门见山的说BAT的offer一个没拿到,然后二线互联网里签了蘑菇街,去做支付业务,今年互联网就业年景也不太好。自己的积累准备和面经啥的我也懒得说了,唯一的感受就是找准方向和勇敢的去做很重要,不要被成见和常识所禁锢,开拓眼界,这一点北邮真是完爆我电。然后找完工作感觉心烦真的不想去工作啊,学校里宅着多舒服啊(笑)。 最近几个月前有个idea打算自己实…
清水漫延是我最近弄的一个图片展示站点,基本上是面向二次元人群的,而且是兴趣向的。这个名字和域名也是为了纪念大学一段珍贵的记忆吧,因为最近这群人最后的几个人都要毕业了,然后uestc就剩下我一个人了。原来本来还打算拿来记录更具体黑历史啥的,后来慢慢觉得还是把这段记忆埋藏在心底吧(其实是找理由坑了,笑)。 之前一直想弄一个图片站的想法,5月份开始在阿里…