diff --git a/main.js b/main.js index 0472538..7cb3d73 100644 --- a/main.js +++ b/main.js @@ -2,105 +2,98 @@ import fs from 'fs' import { Tail } from 'tail' import { update } from './update.js' -// 用于存储文章、游戏、截图相关的统计数据 -const articles = new Map() // 文章统计 -const games = new Map() // 游戏统计 + +const articles = new Map() // 文章统计 const screenshots = new Map() // 截图统计 +const collections = new Map() // 收藏统计 + // 日期格式化工具 const dateFormat = new Intl.DateTimeFormat('zh-CN', { year: 'numeric', month: '2-digit', day: '2-digit' }) + // 匹配文章和截图的正则表达式 +const imagesRegex = /\/web\/v1\/images\/detail\/v2\?imagesId=(\d+)¤tUserId=(\d+)/ const articleRegex = /\/web\/v1\/article\/get\?id=(\d+)&userId=(\d+)/ -const imagesRegex = /\/api\/images\?similar=(\d+)/ +const collectionRegex = /\/web\/v1\/member\/explorer\/article\/get\?id=(\d+)/ + let currentDate = dateFormat.format(new Date()).replace(/\//g, '-') // 当前日期 let isArchiving = false // 是否正在存档标记 + // 存档函数:将数据存入文件 const archive = async (message = '正在存档...') => { if (isArchiving) return // 防止重复存档 isArchiving = true console.log(message) await fs.promises.writeFile(`./data/${currentDate}.json`, JSON.stringify({ - articles: Object.fromEntries(articles), // 将 Map 转换为普通对象 - games: Object.fromEntries(games), + articles: Object.fromEntries(articles), screenshots: Object.fromEntries(screenshots), + collections: Object.fromEntries(collections), }, null, 2)) isArchiving = false } // 主函数 export default function () { - // 启动时加载当天的数据文件 if (fs.existsSync(`./data/${currentDate}.json`)) { console.log(currentDate, '启动时加载数据...') const file = fs.readFileSync(`./data/${currentDate}.json`, 'utf8') if (file) { const data = JSON.parse(file) - // 将文件中的数据加载到对应的 Map 中 Object.entries(data.articles).forEach(([key, value]) => articles.set(key, value)) - Object.entries(data.games).forEach(([key, value]) => games.set(key, value)) Object.entries(data.screenshots).forEach(([key, value]) => screenshots.set(key, value)) + Object.entries(data.collections).forEach(([key, value]) => collections.set(key, value)) } } - + console.log(currentDate, '开始收集日志...') - // 定时存档(每10分钟) setInterval(() => { - archive('每10分钟自动存档...') - update('day_rank', Object.entries(Object.fromEntries(screenshots))) // 更新数据库中 day_rank 字段 + archive('每10分钟自动存档...') + update('day_rank', Object.entries(Object.fromEntries(screenshots))) // 更新数据库中 day_rank 字段 }, 600000) // 实时读取日志文件 const tail = new Tail('/opt/log/caddy/access.log') tail.on('line', async (line) => { - const item = JSON.parse(line) // 解析日志行 - if (item.level !== 'debug') return // 仅处理 debug 级别的日志 - if (item.msg !== 'upstream roundtrip') return // 仅处理指定类型的日志 + const item = JSON.parse(line) + if (item.level !== 'debug') return + if (item.msg !== 'upstream roundtrip') return // 检查日志的日期是否跨天 const logDate = dateFormat.format(new Date(item.ts * 1000)).replace(/\//g, '-') if (currentDate !== logDate) { - await archive('跨日期存档...') // 保存当前数据 - articles.clear() // 清空统计数据 - games.clear() + await archive('跨日期存档...') + articles.clear() screenshots.clear() - currentDate = logDate // 更新当前日期 + collections.clear() + currentDate = logDate } - // 处理文章相关日志 + // 处理文章日志 if (item.request.uri.startsWith('/web/v1/article/get')) { - const [uri, id, userId] = item.request.uri.match(articleRegex) ?? [] - if (uri && id && userId && item.request.headers.Referer) { - const referer = item.request.headers.Referer[0] - // 根据 Referer 的不同路径,分类计数 - if (referer.includes('/articleDetails/')) { - articles.set(id, articles.has(id) ? articles.get(id) + 1 : 1) - return - } - if (referer.includes('/inspirationInfo/')) { - games.set(id, games.has(id) ? games.get(id) + 1 : 1) - return - } - if (referer.includes('/game/')) { - games.set(id, games.has(id) ? games.get(id) + 1 : 1) - return - } - console.log('未处理的 Referer:', referer) // 打印未处理的 Referer + const [uri, id] = item.request.uri.match(articleRegex) ?? [] + if (uri && id) { + articles.set(id, articles.has(id) ? articles.get(id) + 1 : 1) + } + } + + // 处理截图日志 + if (item.request.uri.startsWith('/web/v1/images/detail/v2')) { + const [uri, id] = item.request.uri.match(imagesRegex) ?? [] + if (uri && id) { + screenshots.set(id, screenshots.has(id) ? screenshots.get(id) + 1 : 1) } return } - // 处理截图相关日志 - if (item.request.uri.startsWith('/api/images')) { - if (item.request.uri.includes('page=')) { - return // 忽略分页请求 - } - const [uri, id] = item.request.uri.match(imagesRegex) ?? [] + // 处理收藏日志 + if (item.request.uri.startsWith('/web/v1/member/explorer/article/get')) { + const [uri, id] = item.request.uri.match(collectionRegex) ?? [] if (uri && id) { - screenshots.set(id, screenshots.has(id) ? screenshots.get(id) + 1 : 1) + collections.set(id, collections.has(id) ? collections.get(id) + 1 : 1) } return }