签入版本
This commit is contained in:
@@ -0,0 +1,120 @@
|
||||
# +======================================================================
|
||||
# | DjangoAdmin 企业数字化开发平台 [ 赋能开发者,助力企业发展 ]
|
||||
# +----------------------------------------------------------------------
|
||||
# | Copyright (c) 2021-2026 小蚂蚁云团队 版权所有
|
||||
# +----------------------------------------------------------------------
|
||||
# | 开源协议: Apache-2.0
|
||||
# | 重要声明: 未经书面许可,不得移除或修改本框架相关版权标识。
|
||||
# +----------------------------------------------------------------------
|
||||
# | 官方网站: https://www.djangoadmin.cn
|
||||
# +----------------------------------------------------------------------
|
||||
# | 研发团队: 小蚂蚁云团队 荣誉出品
|
||||
# +======================================================================
|
||||
# | 版权和免责声明:
|
||||
# | 一、知识产权声明
|
||||
# | 本团队对该软件框架产品(以下简称“本产品”)拥有完整知识产权,包括但不限于商标权、专利权、
|
||||
# | 著作权、商业秘密等。前述权利均受中华人民共和国及相关国际法律法规保护。未经本团队书面授权,
|
||||
# | 任何个人或单位不得基于本产品本身申请任何形式的知识产权。
|
||||
# | 二、使用限制与禁止条款
|
||||
# | 您理解并同意,禁止将本产品用于以下任何行为:
|
||||
# | 1. 任何违反中华人民共和国法律法规的用途;
|
||||
# | 2. 任何侵害他人合法权益(包括但不限于人身权、财产权、知识产权等)的行为;
|
||||
# | 3. 任何危害国家安全、公共利益及社会道德风尚的行为。
|
||||
# | 三、责任豁免
|
||||
# | 因使用本产品而产生的任何损失或法律纠纷(包括但不限于直接损失、间接损失、附带损失、衍生损失
|
||||
# | 以及因违约、侵权等引发的责任),本团队均不承担任何法律责任。若因违规使用本产品导致任何第三
|
||||
# | 方提起索赔或行政机关进行调查,您应独立承担全部责任。
|
||||
# | 四、违约与法律责任
|
||||
# | 如发现任何违反本声明的行为,本团队有权:
|
||||
# | 1. 无条件配合公安机关及其他有权机关的调查取证工作;
|
||||
# | 2. 依法追究相关方的民事责任,并要求赔偿全部损失;
|
||||
# | 3. 保留进一步采取刑事控告等法律措施的权利。
|
||||
# | 五、许可范围说明
|
||||
# | 1、被授权方应视本产品源代码为核心机密信息,负有最高标准的保密与保管义务。禁止以任何形式(包
|
||||
# | 括但不限于直接或间接的分享、复制、传播、分发、转售、出租、开源、反向工程、反编译、反汇编或通
|
||||
# | 过网络服务提供给任何第三方)泄露、披露或处置源代码的全部或部分内容。任何未经授权的复制、使用、
|
||||
# | 传播行为均构成对本团队知识产权的严重侵权,本团队有权依法追究其全部法律责任,并要求赔偿因此造
|
||||
# | 成的一切经济损失及商誉损害。
|
||||
# | 2、本产品仅限于公司或个人在法律允许范围内,用于内部且合规的软件产品研发。具体权利义务以《软件
|
||||
# | 许可协议》附件为准。
|
||||
# +======================================================================
|
||||
|
||||
# +======================================================================
|
||||
# | 模块: 富文本历史数据清洗脚本
|
||||
# | 说明: 对已入库的富文本内容进行白名单清洗,移除 XSS 向量
|
||||
# +======================================================================
|
||||
|
||||
"""
|
||||
富文本历史数据清洗脚本(一次性回填)
|
||||
=============================================================
|
||||
|
||||
背景:M-4 修复后,新增/编辑的富文本内容在落盘前会经 bleach 白名单清洗,
|
||||
但修复前已入库的历史数据可能仍含 script / on* 事件 / javascript: 等 XSS 向量。
|
||||
本脚本对 fastapi_notice / fastapi_article 的 content 字段重新做白名单清洗。
|
||||
|
||||
说明:
|
||||
- 仅做"清洗",不迁移图片(图片写入时已迁移,此处复用清洗管线而非 save_content,
|
||||
避免对已迁移的 [IMG_URL] 图片二次处理)。
|
||||
- 幂等:清洗后再执行一遍不会产生变化。
|
||||
- 建议执行前先备份数据库或导出相关表。
|
||||
|
||||
用法:
|
||||
python scripts/sanitize_rich_text.py # 预览:仅统计需清洗行数
|
||||
python scripts/sanitize_rich_text.py --apply # 实际写回数据库
|
||||
"""
|
||||
|
||||
import argparse
|
||||
import os
|
||||
import sys
|
||||
|
||||
sys.path.insert(0, os.path.join(os.path.dirname(os.path.dirname(os.path.abspath(__file__))), "src"))
|
||||
|
||||
|
||||
# ============================================================
|
||||
# 辅助函数
|
||||
# ============================================================
|
||||
def _clean(content):
|
||||
from utils.rich_text import _RICH_TEXT_CLEANER, _strip_dangerous_style
|
||||
|
||||
cleaned = _RICH_TEXT_CLEANER.clean(content or '')
|
||||
return _strip_dangerous_style(cleaned)
|
||||
|
||||
|
||||
# ============================================================
|
||||
# 主入口
|
||||
# ============================================================
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description="富文本历史数据白名单清洗")
|
||||
parser.add_argument("--apply", action="store_true", help="实际写回数据库(默认仅预览统计)")
|
||||
args = parser.parse_args()
|
||||
|
||||
from core.config import DB_PREFIX
|
||||
from core.database import engine
|
||||
from sqlalchemy import text
|
||||
|
||||
total_changed = 0
|
||||
for table in (DB_PREFIX + "notice", DB_PREFIX + "article"):
|
||||
with engine.connect() as conn:
|
||||
rows = conn.execute(text(f"SELECT id, content FROM {table}")).all()
|
||||
dirty = 0
|
||||
for row_id, content in rows:
|
||||
if not content:
|
||||
continue
|
||||
cleaned = _clean(content)
|
||||
if cleaned != content:
|
||||
dirty += 1
|
||||
if args.apply:
|
||||
with engine.begin() as conn:
|
||||
conn.execute(
|
||||
text(f"UPDATE {table} SET content=:c WHERE id=:id"),
|
||||
{"c": cleaned, "id": row_id},
|
||||
)
|
||||
total_changed += dirty
|
||||
print(f"{table}: 共 {len(rows)} 行,其中 {dirty} 行含待清洗内容"
|
||||
+ ("(已写回)" if args.apply else "(预览,加 --apply 写回)"))
|
||||
print(f"合计待清洗 {total_changed} 行"
|
||||
+ (",已完成写回" if args.apply else ",确认无误后加 --apply 执行写回"))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Reference in New Issue
Block a user