Search results
20 results found.
Porn Data Anaylize — Spark安装
spark默认使用的Python版本为2，可以修改.bashrc文件让spark默认使用python3。修改.bashrc增加如下行：
# anaconda
export ANACONDA_HOME=/home/dbuser/anaconda3/
export PATH=$ANACONDA_HOME:$PATH
# spark
export PYSPARK_PYTHON=/home/dbuser/anaconda3/bin/python3
然后重新启动pyspark就是3了，anaconda下的python文件版本也是2。
Porn Data Anaylize — Hadoop安装
这是一个系列的数据分析相关项目，包括环境搭建，数据分析，分析代码，分析报告等。目前数据来源于爬取到的100，000+数据
文章主要介绍相关的方法和原理，也算是自己对于大数据的一个初步的认识。
代码不会涉及具体的数据信息。如果需要相关的数据，可以参考以下文章自己爬取相关的数据信息：
安装参考的是《Python + Spark 2.0+Hadoop机器学习与大数据实战》（林大贵 著），首先吐槽一下，林大贵的几本书前几章的内容完全一样，尤其是上面提到的这本与《Hadoop + Spark大数据巨量分析与机器学习实战》，两本书前7章内容完全一致。
买了两本书其实相当于买了一本半，并且重复的都是非常基础的部分。对于整本书来说倒是降低了写作的难度和时间，并且两本书的实例也基本一致，不过使用的语言略有不同。
书上介绍的安装版本比较老旧，也没有必要去安装一个老旧的版本。所以这里我安装的是3.3.0 具体的安装流程可以参考这个链接：http://hadoopspark.blogspot.com/2015/09/4-hadoop-26-single-node-cluster.html
不过需要注意的是里面的几条命令可能稍微有些问题： 使用下面的这条命令生成的key文件对应的host是本机的主机名：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
如果系统没有设置hostname，可以使用下面的命令生成key：
ssh localhost ssh-keygen -t rsa
两者的区别在于第一条命令生成的是username@hostname，第二条名称生成的是username@localhost
攻城略地 再下一Porn
查看爬取的数据的时候，突然发现一个网站的视频不能播放了，所有的视频在播放的时候都会显示下载正式版。
这尼玛当时就尴尬了，访问播放地址就会发现，重定向到另外一个域名了。
特殊的投喂 — 姐姐我也要分享哦
晚上收拾衣服的时候，忽然传来了门铃声。也没有人点外卖或者快递，猜测可能是对门的大姐或者阿姨。打开猫眼看了一下，果然是对门大姐，手里还提着一大袋子东西。赶紧打开房门，发现她提的是一大袋子玉米，大约得有十来个。赶紧请大姐进屋，“你把这个拿进去，我再给你拿点别的东西”，大姐说完就往自己屋里走。
抄作业续章
为什么要做这个东西？
https://h4ck.org.cn/2023/12/14852
昨天折腾了好久，不知道为什么通过代码拉取到的rss数据始终是缺的。今天早上把cdn的缓存策略调整成全部关闭貌似正常了。
※发表的文章/Articles※
【发表的部分文章（以下网站均已无法访问）】
1.两篇发表于《黑客X档案》的文章
《对“魔兽世界VPN软件破解全攻略”的补充》 作者：obaby
《对“解开高强度文件夹加密大师里的‘秘密’”一文的补充》 作者：obaby
http://bbs.hackerxfiles.net/thread-90289-1-2.html
2.发表于《黑客手册》的文章
《爆破 Hide Window Hotkey 2.5–脱壳，去自校验，破解》
《编译个人专版灰鸽子》
http://www.nohack.cn/bbs/thread-106102-1-1.html
《文件比较在免杀技术中的应用》
http://www.nohack.cn/bbs/thread-102049-1-1.html
《“毒”善其身，对流氓软件的爆破修改》
http://www.nohack.cn/bbs/thread-108473-1-1.html
《Win32/AutoRun.Agent.NZ 蠕虫感染文件的简单分析和修复》
http://www.nohack.cn/bbs/thread-110872-1-1.html
《二次破解之附加进程调试——对一款加密软件的破解以及安全性分析》
http://book.nohack.cn/goods-71.html
《伪装成0Day的骗人小把戏——邪恶的Unicode》
《P2P网络保卫战》
http://bbs.nohack.me/thread-128682-1.html
《破解——不破不逆》（经过将近一年的时间，现在这本书终于面世了 
）
http://bbs.nohack.me/thread-132704-1.html （非安全）
http://h4ck.ws/crack-book/ （站内简介）
看雪学院精华文章：
论文：
基于IOS缩略图文件的数据恢复研究和开发（2015）
m3u8 downloader [23.03.04][Windows]
更新记录： 1.修复txt文件url列表格式下载导致的windows下的文件名命名错误
m3u8_downloader.exe
****************************************************************************************************
Verson: 23.03.04
m3u8_downloader -i <input m3u8 link> -o <output file> -p <out put path> -f <input file> -m <ffmpeg path>
Need Arguments:
-i <input m3u8 link>
Option Arguments:
-o <output file> -p <out put path> -f <input file>
-m <ffmpeg path>
ffmpeg:F:\Pycharm_Projects\m3u8_downloader\dist\m3u8_downloader\bin/ffmpeg.exe
Blog: http://www.h4ck.org.cn
Source Code: http://h4ck.org.cn/2020/01/基于ffmpeg的m3u8下载/
****************************************************************************************************