From 9f51113734b20f3df3d4e6dc0cbf80043e8b15f0 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E6=95=A3=E4=BB=99?= Date: Tue, 26 Nov 2024 00:36:38 +0800 Subject: [PATCH] =?UTF-8?q?=E6=8F=90=E4=BA=A4?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- main.js | 118 ++++++++++++++++++++--------------- put_database.js => update.js | 2 +- 2 files changed, 69 insertions(+), 51 deletions(-) rename put_database.js => update.js (92%) diff --git a/main.js b/main.js index d859240..6e1cab8 100644 --- a/main.js +++ b/main.js @@ -1,101 +1,119 @@ import fs from 'fs' import { Tail } from 'tail' -import { updateDatabase } from './put_database.js' +import { update } from './update.js' -const 作品 = new Map() -const 游戏 = new Map() -const 截图 = new Map() -const 格式 = new Intl.DateTimeFormat('zh-CN', { year: 'numeric', month: '2-digit', day: '2-digit' }) +// 用于存储文章、游戏、截图相关的统计数据 +const articles = new Map() // 文章统计 +const games = new Map() // 游戏统计 +const screenshots = new Map() // 截图统计 + +// 日期格式化工具 +const dateFormat = new Intl.DateTimeFormat('zh-CN', { year: 'numeric', month: '2-digit', day: '2-digit' }) + +// 匹配文章和截图的正则表达式 const articleRegex = /\/web\/v1\/article\/get\?id=(\d+)&userId=(\d+)/ const imagesRegex = /\/api\/images\?similar=(\d+)/ +let currentDate = dateFormat.format(new Date()).replace(/\//g, '-') // 当前日期 +let isArchiving = false // 是否正在存档标记 -var 当前日期 = 格式.format(new Date()).replace(/\//g, '-') -var 正在存档 = false - -const 存档 = async (message = '存档中..') => { - if (正在存档) return - 正在存档 = true +// 存档函数：将数据存入文件 +const archive = async (message = '正在存档...') => { + if (isArchiving) return // 防止重复存档 + isArchiving = true console.log(message) - await fs.promises.writeFile(`./data/${当前日期}.json`, JSON.stringify({ - 作品: Object.fromEntries(作品), - 游戏: Object.fromEntries(游戏), - 截图: Object.fromEntries(截图), + await fs.promises.writeFile(`./data/${currentDate}.json`, JSON.stringify({ + articles: Object.fromEntries(articles), // 将 Map 转换为普通对象 + games: Object.fromEntries(games), + screenshots: Object.fromEntries(screenshots), }, null, 2)) - 正在存档 = false + isArchiving = false } +// 主函数 export default function () { - if (fs.existsSync(`./data/${当前日期}.json`)) { - console.log(当前日期, '启动时读入数据..') - const file = fs.readFileSync(`./data/${当前日期}.json`, 'utf8') + // 启动时加载当天的数据文件 + if (fs.existsSync(`./data/${currentDate}.json`)) { + console.log(currentDate, '启动时加载数据...') + const file = fs.readFileSync(`./data/${currentDate}.json`, 'utf8') if (file) { const data = JSON.parse(file) - Object.entries(data.作品).forEach(([key, value]) => 作品.set(key, value)) - Object.entries(data.游戏).forEach(([key, value]) => 游戏.set(key, value)) - Object.entries(data.截图).forEach(([key, value]) => 截图.set(key, value)) + // 将文件中的数据加载到对应的 Map 中 + Object.entries(data.articles).forEach(([key, value]) => articles.set(key, value)) + Object.entries(data.games).forEach(([key, value]) => games.set(key, value)) + Object.entries(data.screenshots).forEach(([key, value]) => screenshots.set(key, value)) } } - console.log(当前日期, '开始收集日志..') + console.log(currentDate, '开始收集日志...') + + // 定时存档（每10分钟） setInterval(() => { - 存档('10 分钟存档一次..') - updateDatabase(Object.fromEntries(截图)) + archive('每10分钟自动存档...') + update('day_rank', Object.fromEntries(screenshots)) // 更新数据库中 day_rank 字段 }, 600000) + // 实时读取日志文件 const tail = new Tail('/opt/log/caddy/access.log') tail.on('line', async (line) => { - const item = JSON.parse(line) - if (item.level !== 'debug') return - if (item.msg !== 'upstream roundtrip') return + const item = JSON.parse(line) // 解析日志行 + if (item.level !== 'debug') return // 仅处理 debug 级别的日志 + if (item.msg !== 'upstream roundtrip') return // 仅处理指定类型的日志 - const 日志日期 = 格式.format(new Date(item.ts * 1000)).replace(/\//g, '-') - if (当前日期 !== 日志日期) { - await 存档('跨日期存档..') - 作品.clear() - 游戏.clear() - 截图.clear() - 当前日期 = 日志日期 + // 检查日志的日期是否跨天 + const logDate = dateFormat.format(new Date(item.ts * 1000)).replace(/\//g, '-') + if (currentDate !== logDate) { + await archive('跨日期存档...') // 保存当前数据 + articles.clear() // 清空统计数据 + games.clear() + screenshots.clear() + currentDate = logDate // 更新当前日期 } + // 处理文章相关日志 if (item.request.uri.startsWith('/web/v1/article/get')) { - const [uri, id, user_id] = item.request.uri.match(articleRegex) ?? [] - if (uri && id && user_id && item.request.headers.Referer) { - if (item.request.headers.Referer[0].includes('/articleDetails/')) { - 作品.set(id, 作品.has(id) ? 作品.get(id) + 1 : 1) + const [uri, id, userId] = item.request.uri.match(articleRegex) ?? [] + if (uri && id && userId && item.request.headers.Referer) { + const referer = item.request.headers.Referer[0] + // 根据 Referer 的不同路径，分类计数 + if (referer.includes('/articleDetails/')) { + articles.set(id, articles.has(id) ? articles.get(id) + 1 : 1) return } - if (item.request.headers.Referer[0].includes('/inspirationInfo/')) { - 游戏.set(id, 游戏.has(id) ? 游戏.get(id) + 1 : 1) + if (referer.includes('/inspirationInfo/')) { + games.set(id, games.has(id) ? games.get(id) + 1 : 1) return } - if (item.request.headers.Referer[0].includes('/game/')) { - 游戏.set(id, 游戏.has(id) ? 游戏.get(id) + 1 : 1) + if (referer.includes('/game/')) { + games.set(id, games.has(id) ? games.get(id) + 1 : 1) return } - console.log('未处理 Referer:', item.request.headers.Referer) + console.log('未处理的 Referer:', referer) // 打印未处理的 Referer } return } + + // 处理截图相关日志 if (item.request.uri.startsWith('/api/images')) { if (item.request.uri.includes('page=')) { - return + return // 忽略分页请求 } const [uri, id] = item.request.uri.match(imagesRegex) ?? [] if (uri && id) { - 截图.set(id, 截图.has(id) ? 截图.get(id) + 1 : 1) + screenshots.set(id, screenshots.has(id) ? screenshots.get(id) + 1 : 1) } return } }) - tail.on('end', () => console.log('没有更多内容，结束读取')) + // 日志尾部事件监听 + tail.on('end', () => console.log('没有更多内容，停止读取')) tail.on('error', (error) => console.error('错误:', error)) + // 捕获退出信号，确保数据存档 process.on('SIGINT', async () => { - tail.unwatch() - await 存档('退出前储存数据..') + tail.unwatch() // 停止监听日志 + await archive('退出前存档数据...') process.exit() }) - } diff --git a/put_database.js b/update.js similarity index 92% rename from put_database.js rename to update.js index 18fe0fc..7b0e9d5 100644 --- a/put_database.js +++ b/update.js @@ -1,7 +1,7 @@ import mysql from 'mysql2/promise' import fs from 'fs' -export async function updateDatabase(list, field) { +export async function update(list, field) { const { mysql: config } = JSON.parse(fs.readFileSync('config.json', 'utf8')) const conn = await mysql.createConnection(config)