背景： 多线程跑系统识别，当某线程得到结果后，需要优雅的停止平行的其他线程，结束本次任务。 Python threading模块不同于其它语言之处在于它没有提供线程的终止方法，而且python的多线程设计本身也是不希望用户这么做，但是很多时候我们得到某个结果后为了节省不必要的资源 必须停止其他线…继续阅读 »

这个问题困扰了我估计有一个星期问题，而问题的一开始我没有任何头绪，问题的表现就是调用节点去请求任务时，时常报错：   报错信息诸如： Protocol Error: , b'\x00\x00\x00\x00\x00\x00\x00\x00\x00*3' Error while reading from socket: (9, 'Bad file descriptor') 'int' object has no attribute 'decode' name 'self' is not defined only …继续阅读 »

又有一段时间没有更新博客了，很是愧疚，虽然看我博客的人并不多，但我知道有一部分在关注，不是出于技术。 我可能不像个黑客 可能当一个人忙于一件事或者处于忙碌状态的时候，就几乎没有闲暇时间去思考，思考那些平时忙碌的时候不会思考的问题，可能是生活因素，总是在压迫人们不停的工…继续阅读 »

前几天买了个树莓派3b，实现远程控制自然要有内网转发，没什么毛病，但是任何事情我遇到的问题总比别人多，下面就开始折腾了。 一开始装的是树莓派的原生系统，花生壳官网有树莓派专用的客户端也就是arm版，但是用着用着很多渗透软件装着太麻烦，于是换了kali系统， 那么问题来了，花…继续阅读 »

随着全网扫描项目的开发，越来越细致的问题暴露出来，从能用到用的好，还有很长的路要走。 这个问题前段时间就发现了，程序一般跑个一天会越来越慢，直到某个时候程序彻底崩了，而且最后的报错也一般是mysql的报错： pymysql.err.OperationalError: (2013, 'Lost connection to MySQL server during query ([Errno 104] Co…继续阅读 »

在网上大多关于join()与task_done()的结束原话是这样的： Queue.task_done() 在完成一项工作之后，Queue.task_done()函数向任务已经完成的队列发送一个信号 Queue.join() 实际上意味着等到队列为空，再执行别的操作 但是可能很多人还是不太理解，这里以我自己的理解来阐述这两者的关联。 理解 如果线程里…继续阅读 »

很久一段时间，一直麻木在技术的世界里，甚至没有多余的思绪跳出技术思维，想一想技术之外的一些东西。 之所以称之为“技术之外”，因为对于我这种金刚猿来说，从事业与理想的角度只分为技术，与非技术。 所谓技术，我一般也称之为“术”，诸如，线程如何调优，这个函数有哪些参数，…继续阅读 »

终究，我还是从innodb转到了myisam，光innodb库的大小就够我受的，更别说查询速度了。 但是我遇到了一个问题，从innodb转到myisam很快就能完成，ibdata1文件还是那么大，有27G。 嗯，可以理解，可能因为我的库还在。 但是当我删除一个大库的时候瞬间就完成了，那一瞬间我就感觉不妙，几百万的数据…继续阅读 »

此贴为备忘帖： 背景：将mysql 的var目录数据全部迁移至另一mysql服务器，权限正常的情况下 无法启动mysql，报错：  ERROR! MySQL is not running, but lock file (/var/lock/subsys/mysql) exists 查看var下的localhost.localdomain.err日志，报错为： 170322 14:47:52 mysqld_safe Starting mysqld daemon with databases from /usr/local/mysql/var 170322 …继续阅读 »

一般在针对性的爬取某个网站的时候可能不需要考虑太多这方面问题，因为一个网站的编码基本是固定的，但是当需要去请求大量编码各不相同的网站时，自动解码就显得尤为重要。 这几天在用requests模块扫描大量网站首页的时候发现有大量的乱码，我们都知道requests中的encoding属性是可以自动识别网…继续阅读 »