mongo使用aggregate查出重复数据并删除
db.getCollection('xhls_homework_detail').aggregate([
{
$match: {taskId:{$ne:""},status:1}
},
{
$group: { _id: {taskId: '$taskId',userId: '$userId'},count: {$sum: 1},dups: {$addToSet: '$_id'}}
},
{
$match: {count: {$gt: 1}}
}
],{ allowDiskUse: true }
).forEach(function(doc){
doc.dups.shift();
db.getCollection('xhls_homework_detail').remove({_id: {$in: doc.dups}});
})
- 先筛选出taskId不为空,并且状态为1的数据
- 然后根据taskId和userId分组并统计数量,$group只会返回参与分组的字段,使用$addToSet在返回结果数组中增加_id字段
- 使用$match匹配数量大于1的数据
- doc.dups.shift();表示从数组第一个值开始删除;作用是踢除重复数据其中一个_id,让后面的删除语句不会删除所有数据
- 使用forEach循环根据_id删除数据