json解析[python图片爬虫-Ⅲ]

之前的爬虫采取的方案都是直接进入网页再用正则获取实际的图片地址,这样的做法看上去很好,但是在获取网页的时候需要下载整个网页,所以每次越有80%的内容是重复的,而且剩下的20%中我们需要的又只是5%。同时过高的访问频率还可能导致目标站点将自己拉近黑名单。所以我们需要一种能够直接提供我们需要信息的方法。

这时候API就显得十分重要,API能够直接根据参数提供我们想要的实体,而不是写入整张网页中,能有效的节约编写解析代码的时间,也能减轻服务器的压力。

阅读更多
爬虫升级[python图片爬虫-Ⅱ]

接上次虽然完成了konachan的爬虫,但是一股脑的将图片下载下来后期整理起来可是件烦心事,所以要对上次的python爬虫进行升级定制

开工

  • konachan上的图片大小不一,如果是要拿来当素材壁纸之类可能会对图片的大小有要求
阅读更多
收集动漫壁纸[python图片爬虫]

不知道怎么就买了个pi3,自带wifi和蓝牙,这样就不用插一根usb 网卡还得考虑驱动的问题。

而且这么多的VPS开着流量也用不完,而且最近还在学校里弄到个工作室,这样就可以做一个爬虫挂在工作室里24小时不用断电。

raspbian自带python 2.7.X和3.4.X 默认python是运行2.X版本所以运行3得用python3

我的爬虫范例

阅读更多
by.cx短网址服务Beta运营--by jsp

自从by.cx花200多大洋注册之后一直没有拿来长期的做一个站。

不过最近正好想要学jsp,所以正好拿这域名来做一个短网址,顺便也拿来学学jsp。由于是刚开始学,所以是纯jsp,并没有写成servlet。

初学作品,所以有些许BUG请见谅,欢迎发issue

不过最好不要拿by.cx来做长期的跳转服务,在后续的程序更新中可能会误删导致链接的丢失。

阅读更多
centos配置JSP环境

不知道为什么,我就竟然开始学jsp了(PHP是最好的语言!)….

所以为了有一个测试环境,所以我就打算在腾讯云上搭一个JSP环境,tomcat+mysql+lnmp。

腾讯云在国内,而且上行只有1M只能拿来作为开发测试环境来用了(ノへ ̄、)。

安装lnmp主要是为了phpmyadmin管理数据库会比较方便。

阅读更多
Win10.1 bash!微软大法好

今天突然看见1607更新开始推送,于是手贱不小心点了检查更新,windows就在下载更新的道路上一去不返。

经过2-3个小时下载才下载完成,安装更新大概花了半个小时。一开机就看到解锁页面的背景终于能自定义了.看了好几个月的大蓝布也该换换口味。

20160803202602

UI上貌似只看到设置界面左侧标签和UAC提示的样式改了,其他貌似没看到什么地方改过

20160803203014

在找不同的时候突然发现多出来了bash(虽然还是beta,而且有人是bug很多),遂直接安装。

安装完成之后需重启一次。

重启之后在控制台输入bash,可能回出现XXXX需禁用旧版控制台之类的提示

在控制台窗口属性–>选项下(使用旧版控制台)去掉勾选即可正常运行

20160803203557

20160803203714

说bug bug到,选择y之后将从windows商城下载ubuntu包,大约200mb左右的样子

之后会要求输入新的用户名和密码完成之后在控制台输入bash就可以用linux命令啦!

ps:看了下是ubuntu14.04


这年头哪有省心的IDC

自从买了饥荒together之后就打算建服和好py一起玩,有一位住在米国的同学也一起来,这时候如果把服务器放在vultr上的话LA机房ping到国内最低也有200ms,虽然她那边ping过去很低,但是我进行攻击完全打不中!

即使vultr他有JP机房,但是不知道从什么时候起大部分的JP线路都开始从美国绕一圈再回来(部分线路连印度和香港都不放过),ping比直接上美国都高,conoha的jp机房也是除了移动以外都从美国跑一圈。conoha有新加坡的CN2线路,但是除了电信以外其他访问又像屎一样。(还有为什么我明明删掉了vps后来一看竟然没删掉!冲进去的500日元只剩下17日元)

阅读更多
hyper-v设置虚拟机与物理机通信

hyper-v是微软的第一款虚拟化产品,在windows8上(不包括server系统)正式被加入,hyper-v相比vmware和vbox等其他虚拟机软件有着更强大的性能。

用vm和vbox总感觉老是拖累了物理机的性能。。

我主要使用hyper-v是要使用linux搭建一个lnmp环境来测试php+mysql代码,windows上的各种一键包都感觉

阅读更多
C语言RC4加密算法

C语言的上课进度实在是太慢,一个200多行的小项目都得上四五个星期,所以只好自己折腾折腾其他的功能

RC4加密算法是大名鼎鼎的RSA三人组中的头号人物Ronald Rivest在1987年设计的密钥长度可变的流加密算法簇。之所以称其为簇,是由于其核心部分的S-box长度可为任意,但一般为256字节。该算法的速度可以达到DES加密的10倍左右,且具有很高级别的非线性。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
void rc4_init(unsigned char*s, unsigned char*key, unsigned long Len)
{
int i = 0, j = 0;
char k[256] = { 0 };
unsigned char tmp = 0;
for (i = 0; i<256; i++)
{
s[i] = i;
k[i] = key[i%Len];
}
for (i = 0; i<256; i++)
{
j = (j + s[i] + k[i]) % 256;
tmp = s[i];
s[i] = s[j];//交换s[i]和s[j]
s[j] = tmp;
}
}

以上代码为初始化Sbox的函数,需要传入的参数是Sbox地址,字符型密钥地址以及密钥的长度。密钥的作用主要是搅乱Sbox生成一个独一无二的密文。之后需要加密的数据会通过这段密文进行加密,加密的同时被加密的数据也会不断打乱Sbox内的密文。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

void rc4_crypt(unsigned char*s, unsigned char*Data, unsigned long Len)
{
int i = 0, j = 0, t = 0;
unsigned long k = 0;
unsigned char tmp;
for (k = 0; k<Len; k++)
{
i = (i + 1) % 256;
j = (j + s[i]) % 256;
tmp = s[i];
s[i] = s[j];//交换s[x]和s[y]
s[j] = tmp;
t = (s[i] + s[j]) % 256;
Data[k] ^= s[t];
}
}

加密需要传入Sbox地址,需要加密的数据和数据的长度,解密需要传入通过key初始化的sbox地址和要解密的数据和其长度

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
int main()
{
unsigned long Len;
unsigned char Data[256]="just say hello world!";
unsigned char s[256];
char key[10]="example";
Len=strlen(Data);
rc4_init(s,(unsigned char *)key,Len);//初始化
printf("原始数据%s\n",Data );
rc4_crypt(s,Data,strlen(Data));//加密
printf("加密后%s\n",Data );
rc4_init(s,(unsigned char *)key,Len);//重初始化
rc4_crypt(s,Data,strlen(Data));//解密
printf("解密后%s\n",Data );
system("pause");
return 0;
}

20160516221144 运行结果

 


清明休假

节假日回家一趟真是闲的没事做了。星期五上午课一完就跑去门口打算坐黑车去车站,但是黑车是真的黑啊,5个人50一人(之后打了滴滴也才总价90),就让黑车司机继续一边晒太阳接客去吧,反正以后都打专车去往返了。

但是由于等车浪费的时间太多,以至于刚到车站广场就听到开始检票的信息,还好现在身份证

阅读更多