Python

Python 获取顶级域名模块ExtractLevelDomain[自定义等级]

这个模块在很多爬虫项目里应该还是挺实用的,不过我是用来批量查询whois和备案单位的,因为库里有大量的子域名,所以只需要对同顶级域名的其中一个域名获取信息即可,否则会造成数据库大量冗余信息,而且在后期更新的时候还会造成系统及网络不必要的压力。 找了这么个提取顶级域名的模…继续阅读 »
Python

Python whois查询模块完美修复版【基于Linux whois】

全网域名扫描项目还在进行中,之前想的很简单的whois提取本以为很简单,看了下linux下whois出来的结果格式很多都不一样,自己写的话是比较麻烦的。 在线接口的话找了很多,还是只有站长之家最靠谱,但是由于量很大,而且又有请求限制,还是决定再找找whois的轮子,找了两个,一个很烂,.cn  .com…继续阅读 »
网络运维

Shadowsocks linux服务器快速搭建[无需修改配置]

之前内网转发的时候用过ss,在服务器上装个showdowsocks,再将这个ss端口转发到外网,不过现在已经不需要这么麻烦了。 那时候用的是windows版,比较不稳定,后来随便看了下linux 版的安装,看着麻烦也就没弄了,今天偶然在折腾python 使用vpn的时候,看到了一个快速配置shadowsocks的方法,简单又稳定,…继续阅读 »
网络运维

Linux 下Socks5极速搭建指南[简便配置]

今天试图用python requests模块加载shadowsocks代理,发现根本不支持,所以python想用vpn还必须得搭建Socks5。 之前因为懒,看网上得很多教程相当繁琐就懒得搞了,没想到今天还是免不了这个劫,所以这篇文章是个备忘也算是个总结。 毕竟sock5 毕竟我们毕竟只是用来作为工具,用来开发或者渗透,更或者…继续阅读 »
Python

Python selenium+PhantomJS实现爬取动态JS[自定义header]

爬取js的必要性在这里就不必多说了,也就是直接请求html并不会返回js所加载的数据,只有经过浏览器渲染后才回出现数据,比如在http://s.tool.chinaz.com/same 查询出的数据是经过js加载的(一方面为了数据不会被搜索引擎爬取,另一方面降低服务器并发负载)。 这种情况python一般可以用PhantomJS实现,这个工具…继续阅读 »
网络运维

linux下使用”ntfs-3g”挂载ntfs格式硬(U)盘【老年痴呆备忘帖】

显然这是个备忘文章。 每次想用一些工具的时候总觉得自己已经在博客上写过了,今天在博客顺手一搜竟然没找到,赶紧来补下。 虽然这个ntfs-3g工具很简单,但是在实际工作中还是非常实用的,比如把自己硬盘里的某些文件挂载到高性能服务器上处理,效率还是相当可以的。 友情提醒: 即…继续阅读 »
网络运维

linux下解压unzip报错“cannot find zipfile directory……”

这个问题,今天在解压大文件的时候遇到的,但是我也试了下小文件也无法解压,均报错: Archive: trunk.zip End-of-central-directory signature not found. Either this file is not a zipfile, or it constitutes one disk of a multi-part archive. In the latter case the central directory and zipfile comment will be found on the last disk(s) of this archive. unzip: ca…继续阅读 »
PHP

PHP实现字符编码互转[ANSI、Unicode、Unicode big endian、UTF-8、UTF-8+Bom]

最近在做工具的时候遇到读取两个文件编码不一致的情况,但实际情况并不是用iconv转换就可以的那么简单,因为其中一个编码是ANSI,另一个是Unicode big endian,这时候用函数mb_detect_encoding 都识别不了编码,更别想用几个函数就能简单转换了。 不过google到了一个不错的php类,引入即可。  <?php /…继续阅读 »
互联网

关于破解支付宝AR实景红包的一些尝试

今天才得知支付宝又出了个ar实景红包这么个玩意,各种平台已经推出了各种破解姿势。 我也尝试了一把,下午3,4点的时候图片还是这样的: 横线很规律, 根据网传的一些方法,基本上都是用原图部分来覆盖黑线部分,来达到模拟还原的效果,我自己也P了一个图,确实成功撸了7毛钱红…继续阅读 »
网络安全

新鲜出炉的谷歌镜像站,来自于吃瓜群众的智慧

继最新京东泄露12G的用户数据裤子下载分享【这集你肯定没看过!】之后。 两天过去了,瓜也差不多快吃完了, 大家奋不顾身探索京东12G的热情也稍微散去了些,现在回想起来也是心有余悸,那些个非死命找我要12G陆小凤传奇电影的瓜友,你们肿么了,搞得我也想下下来看看,生怕错过了什么。 …继续阅读 »