查看: 1147|回复: 29

[网站源码] 全新热搜热门榜内容系统聚合源码

[复制链接]
  • TA的每日心情

    3 小时前
  • 签到天数: 427 天

    [LV.9]以坛为家II

    1142

    主题

    513

    回帖

    2万

    积分

    管理员|UID:1

    金钱:7955

    贡献:5000

    威望:5020

    发表于 2023-4-18 23:18:03 | 显示全部楼层 |阅读模式
    截图202304182317093731.jpg


    特色:
    1.前端纯HTML+JS+JSON(链接统计除外),后端python生成标准JSON

    2.自带30几个常用网站采集规则

    3.多线程抓取,30+网站5秒内采集完毕

    4.相同网站放在一个框架内,可局部刷新和滚动

    5.更新时间显示(按采集页的自带更新时间或按时间排序的第一条时间采集,没有的为采集完成时间)

    6.内容链接防盗链,链接通过base64+字符逆序+大小写反转+base64实现加密(更换大小写转换顺序或增加数字替换可实现不同密码加密)

    7.内容链接点击统计

    8.部分内容鼠标悬停提示(如appstore排行有更新内容、时间、版本号)

    安装:
    1.python3 caiji.py采集(保持后台运行请用screen或nohup)

    2.打开首页访问

    注:
    caiji.py为后端采集程序,其余为前端需在同一目录

    相应设置修改请查看源码中的注释

    admin.php为第三方数据库管理程序,用于内容链接统计查看(默认密码admin,请在文件中修改)

    点击统计数据库log.db会在首次访问内容链接时生成,如未建立请保证主目录可写

    为了安全,后端程序caiji.py和数据库查看程序admin.php请改为复杂文件名,或移动到非web目录(需同时修改文件内的生成json保存目录为网站根目录,默认为当前目录)

    默认使用多线程抓取,如有问题请改用单线程

    今日头条的采集请更换为自己的cookie,头条短时间采集内容相同的太多(目前1分钟采一次合并10次数据),相同cookie分段采集后几乎不会有重复的,但采集一段时间后推荐的都是杂七杂八无关的垃圾内容(请定期更换cookie或自行加入随机的头条cookie生成规则)

    采集站的logo大部分已修改为透明图层png,在非白色背景下可能会很难看

    下载地址:【回复下载】
    游客,如果您要查看本帖隐藏内容请回复


    温馨提示:
    1、在论坛里发表的文章仅代表作者本人的观点,与本网站立场无关。
    2、论坛的所有内容都不保证其准确性,有效性,时间性。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
    3、当政府机关依照法定程序要求披露信息时,论坛均得免责。
    4、若因线路及非本站所能控制范围的故障导致暂停服务期间造成的一切不便与损失,论坛不负任何责任。
    5、注册会员通过任何手段和方法针对论坛进行破坏,我们有权对其行为作出处理。并保留进一步追究其责任的权利。
    ----------------------------------------------------------------------------------------------------------------------------
    文章采用: 《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权。
    版权声明:未标注转载均为本站原创,转载时请以链接形式注明文章出处。如有侵权、不妥之处,请联系站长删除。敬请谅解!
    回复

    使用道具 举报

    该用户从未签到

    6

    主题

    576

    回帖

    1162

    积分

    金牌会员|UID:503

    金钱:580

    贡献:0

    威望:0

    发表于 2023-4-18 23:19:49 | 显示全部楼层
    看一漂亮MM,苦无搭讪办法,路旁一砖头,拣起,上前,“同学,这是你掉的吧?”
    回复

    使用道具 举报

    该用户从未签到

    120

    主题

    415

    回帖

    1138

    积分

    金牌会员|UID:518

    金钱:603

    贡献:0

    威望:0

    发表于 2023-4-19 08:38:17 | 显示全部楼层
    楼主说的,句句都是真理啊!
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    592

    回帖

    1184

    积分

    金牌会员|UID:499

    金钱:592

    贡献:0

    威望:0

    发表于 2023-4-19 14:35:50 | 显示全部楼层
    看帖要回,回帖才健康,我使劲踩,楼主辛苦了!
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    606

    回帖

    1212

    积分

    金牌会员|UID:495

    金钱:606

    贡献:0

    威望:0

    发表于 2023-4-19 18:44:56 | 显示全部楼层
    好,很好,非常好!
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    623

    回帖

    1246

    积分

    金牌会员|UID:493

    金钱:623

    贡献:0

    威望:0

    发表于 2023-4-20 09:19:42 | 显示全部楼层
    Duang
    回复

    使用道具 举报

    该用户从未签到

    2

    主题

    598

    回帖

    1201

    积分

    金牌会员|UID:502

    金钱:601

    贡献:0

    威望:0

    发表于 2023-4-20 11:55:56 | 显示全部楼层
    边撸边过
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    606

    回帖

    1212

    积分

    金牌会员|UID:496

    金钱:606

    贡献:0

    威望:0

    发表于 2023-4-20 14:38:10 | 显示全部楼层
    出问题先从自己身上找原因,别一便秘就怪地球没引力.
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    615

    回帖

    1230

    积分

    金牌会员|UID:473

    金钱:615

    贡献:0

    威望:0

    发表于 2023-4-20 19:55:35 | 显示全部楼层
    鼎力支持!!
    回复

    使用道具 举报

    该用户从未签到

    0

    主题

    598

    回帖

    1196

    积分

    金牌会员|UID:474

    金钱:598

    贡献:0

    威望:0

    发表于 2023-4-20 21:31:49 | 显示全部楼层
    你长的拖慢网速,你长的太耗内存,大哥,把你脸上的分辨率调低点好吗?国际脸孔世界通用。
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    关于我们

    关于我们

    免责声明

    服务条款

    服务支持

    常见问题

    论坛公告

    投诉/建议联系

    jinqike1026@163.com

    论坛仅限于编程技术相关的交流探讨与分享,

    严禁在此发布违规违法帖子,否则后果自负!

    关注微信公众号

    51LA统计|Archiver|手机版|小黑屋|金小颖论坛 ( 浙ICP备2022006091号 )|网站地图

    GMT+8, 2024-3-29 13:21 , Processed in 0.211401 second(s), 86 queries .

    Powered by Discuz! X3.5

    Copyright © 2001-2024 Tencent Cloud.