一、MongoDB 简介
MongoDB 是由 C++语言编写的,是一个基于分布式文件存储的开源数据库系统。在高负载的情况下,添加更多的节点,可以保证服务器性能。
MongoDB 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。
MongoDB 将数据存储为一个文档,数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档,数组及文档数组。
二、安装 Mongodb
1 2 3 4 5 6 7 8
| #拉取镜像 docker pull mongo:latest
#创建和启动容器 docker run -d --restart=always -p 27017:27017 --name mymongo -v /data/db:/data/db -d mongo
#进入容器 docker exec -it mymongo /bin/bash
|
1 2 3 4 5 6 7
| #使用MongoDB客户端进行操作 mongo
> show dbs admin 0.000GB config 0.000GB local 0.000GB
|
三、MongoDB 概念解析
SQL 术语/概念 | MongoDB 术语/概念 | 解释/说明 |
---|
database | database | 数据库 |
table | collection | 数据库表/集合 |
row | document | 数据记录行/文档 |
column | field | 数据字段/域 |
index | index | 索引 |
table joins | | 表连接,MongoDB 不支持 |
primary key | primary key | 主键,MongoDB 自动将_id 字段设置为主键 |
通过下图实例,我们也可以更直观的的了解 Mongo 中的一些概念:
3.1 基本操作
1、Help 查看命令提示
2、切换/创建数据库
注意
:如果数据库不存在,则创建数据库,否则切换到指定数据库
3、 查询所有数据库
4、 删除当前使用数据库
5、 查看当前使用的数据库
6、 显示当前 db 状态
7、 当前 db 版本
8、 查看当前 db 的链接机器地址
3.2 文档
文档是一组键值(key-value)对(即 BSON)。 MongoDB 的文档不需要设置相同的字段,并且相同的字段不需要相同的数据类型,这与关系型数据库有着很大的区别,也是 MongoDB 非常突出的特点。
下表列出了 RDBMS 与 MongoDB 对应的术语:
RDBMS | MongoDB |
---|
数据库 | 数据库 |
表格 | 集合 |
行 | 文档 |
列 | 字段 |
表联合 | 嵌入文档 |
主键 | 主键 (MongoDB 提供了 key 为 _id ) |
需要注意的是:
文档键命名规范:
3.3 集合
集合就是 MongoDB 文档组,类似于 RDBMS (关系数据库管理系统:Relational Database Management System)中的表格。
集合存在于数据库中,集合没有固定的结构,这意味着你在对集合可以插入不同格式和类型的数据,但通常情况下我们插入集合的数据都会有一定的关联性。
常用命令:
1、 创建一个集合(table)
1
| db.createCollection( "collName");
|
2、 得到指定名称的集合(table )
1
| db.getCollection("user");
|
3.4 数据类型
下表为 MongoDB 中常用的几种数据类型:
数据类型 | 描述 |
---|
String | 字符串。存储数据常用的数据类型。在 MongoDB 中,UTF-8 编码的字符串才是合法的。 |
Integer | 整型数值。用于存储数值。根据你所采用的服务器,可分为 32 位或 64 位。 |
Boolean | 布尔值。用于存储布尔值(真/假)。 |
Double | 双精度浮点值。用于存储浮点值。 |
Min/Max keys | 将一个值与 BSON(二进制的 JSON)元素的最低值和最高值相对比。 |
Arrays | 用于将数组或列表或多个值存储为一个键。 |
Timestamp | 时间戳。记录文档修改或添加的具体时间。 |
Object | 用于内嵌文档。 |
Null | 用于创建空值。 |
Symbol | 符号。该数据类型基本上等同于字符串类型,但不同的是,它一般用于采用特殊符号类型的语言。 |
Date | 日期时间。用 UNIX 时间格式来存储当前日期或时间。你可以指定自己的日期时间:创建 Date 对象,传入年月日信息。 |
Object ID | 对象 ID。用于创建文档的 ID。 |
Binary Data | 二进制数据。用于存储二进制数据。 |
Code | 代码类型。用于在文档中存储 JavaScript 代码。 |
Regular expression | 正则表达式类型。用于存储正则表达式。 |
四、MongoDB 入门
4.1 常用操作
4.1.1 INSERT
1 2 3 4
| > db.User.save({name:'zhangsan',age:21,sex:true}) > db.User.find() {"_id": Objectld("4f69e680c9106ee2ec95da66"), "name": "zhangsan", "age": 21, "sex": true}
|
**_id 组合: **Objectld 是、id”的默认类型。Objectld 使用 12 字节的存储空间,每个字节二位十六进制数字, 是一个 24 位的字符串
- 时间戳: 时间不断变化的
- 机器: 主机的唯一标识码。通常是机器主机名的散列值,这样可以确保不同主机生成不同的 ObjectId,不产生冲突。
- PID:为了确保在同一个机器上并发的多个进程产生的 ObjectId 是唯一的,所以加上进程标识符(PID)
- 计数器: 前 9 个字节保证了同一秒不同机器不同进程产生的 ObjectId 是唯一的。后 3 个字节就是一个自动增加的计数器,确保相同的进程同一秒产生的 ObjectId。
4.1.2 Query
WHERE
1 2
| # select * from User where name = 'zhangsan' > db.User.find({name:"zhangsan"})
|
FIELDS
1 2
| # select name, age from User where age = 21 > db.User.find({age:21}, {'name':1, 'age':1})
|
SORT
在 MongoDB 中使用 sort() 方法对数据进行排序,sort() 方法可以通过参数指定排序的字段,并使用 1 和 -1 来指定排序的方式,其中 1 为升序排列,而 -1 是用于降序排列。
1 2
| # select * from User order by age > db.User.find().sort({age:1})
|
IN
1 2
| # select * from User where age in (21, 26, 32) > db.User.find({age:{$in:[21,26,32]}})
|
COUNT
1 2
| # select count(*) from User where age >20 > db.User.find({age:{$gt:20}}).count()
|
0R
1 2
| # select * from User where age = 21 or age = 28 > db.User.find({$or:[{age:21}, {age:28}]})
|
4.1.3 Update
可直接用类似 T-SQL 条件表达式更新,或用 Save()更新从数据库返回到文档对象。
1 2
| # update Userset age = 100, sex = 0 where name = 'user1' > db.User.update({name:"zhangsan"}, {$set:{age:100, sex:0}})
|
Update()有几个参数需要注意:db.collection.update(criteria, objNew, upsert, mult)
4.1.4 Remove
remove() 用于是删除单个或全部文档,删除后的文档无法恢复。
1 2 3 4
| > db.User.remove(id) //移除对应id的行 > db.User.remove({}) //移除所有
|
4.1.5 aggregate
MongoDB 中聚合(aggregate) 主要用于处理数据(诸如统计平均值,求和等),并返回计算后的结果。有点类似 sql 语句中的 count(*)
准备数据
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
| db.article.insert({ title: 'MongoDB Overview', description: 'MongoDB is no sql database', by_user: 'runoob.com', url: 'http://www.runoob.com', tags: ['mongodb', 'database', 'NoSQL'], likes: 100 }) db.article.insert({ title: 'NoSQL Overview', description: 'No sql database is very fast', by_user: 'runoob.com', url: 'http://www.runoob.com', tags: ['mongodb', 'database', 'NoSQL'], likes: 10 }) db.article.insert({ title: 'Neo4j Overview', description: 'Neo4j is no sql database', by_user: 'Neo4j', url: 'http://www.neo4j.com', tags: ['neo4j', 'database', 'NoSQL'], likes: 750 })
|
统计 sum
现在我们通过以上集合计算每个作者所写的文章数
1
| db.article.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : 1}}}])
|
1 2 3 4 5 6 7 8 9 10 11 12 13
| { "result" : [ { "_id" : "runoob.com", "num_tutorial" : 2 }, { "_id" : "Neo4j", "num_tutorial" : 1 } ], "ok" : 1 }
|
在上面的例子中,我们通过字段 by_user 字段对数据进行分组,并计算 by_user 字段相同值的总和。
常见的聚合表达式
表达式 | 描述 | 实例 |
---|
$sum | 计算总和。 | db.mycol.aggregate([{$group : {_id : “$by_user”, num_tutorial : {$sum : “$likes”}}}]) |
$avg | 计算平均值 | db.mycol.aggregate([{$group : {_id : “$by_user”, num_tutorial : {$avg : “$likes”}}}]) |
$min | 获取集合中所有文档对应值得最小值。 | db.mycol.aggregate([{$group : {_id : “$by_user”, num_tutorial : {$min : “$likes”}}}]) |
$max | 获取集合中所有文档对应值得最大值。 | db.mycol.aggregate([{$group : {_id : “$by_user”, num_tutorial : {$max : “$likes”}}}]) |
$push | 在结果文档中插入值到一个数组中。 | db.mycol.aggregate([{$group : {_id : “$by_user”, url : {$push: “$url”}}}]) |
$addToSet | 在结果文档中插入值到一个数组中,但不创建副本。 | db.mycol.aggregate([{$group : {_id : “$by_user”, url : {$addToSet : “$url”}}}]) |
$first | 根据资源文档的排序获取第一个文档数据。 | db.mycol.aggregate([{$group : {_id : “$by_user”, first_url : {$first : “$url”}}}]) |
$last | 根据资源文档的排序获取最后一个文档数据 | db.mycol.aggregate([{$group : {_id : “$by_user”, last_url : {$last : “$url”}}}]) |
4.1.6 索引
索引通常能够极大的提高查询的效率,如果没有索引,MongoDB 在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。
这种扫描全集合的查询效率是非常低的,特别在处理大量的数据时,查询可以要花费几十秒甚至几分钟,这对网站的性能是非常致命的。
索引是特殊的数据结构,索引存储在一个易于遍历读取的数据集合中,索引是对数据库表中一列或多列的值进行排序的一种结构。
1
| > db.User.createIndex({"name":1})
|
语法中 name 值为你要创建的索引字段,1 为指定按升序创建索引,如果你想按降序来创建索引指定为 -1 即可
五、Spring boot 集成 Mongodb
5.1 集成简介
spring-data-mongodb 提供了MongoTemplate与MongoRepository两种方式访问 mongodb,MongoRepository 操作简单,MongoTemplate 操作灵活,我们在项目中可以灵活适用这两种方式操作 mongodb,MongoRepository 的缺点是不够灵活,MongoTemplate 正好可以弥补不足。
5.2 搭建开发环境
初始化工程
使用 Spring Initializr 快速初始化一个 Spring Boot 工程
Group:com.oy
Artifact:mongodb
引入依赖 pom.xml
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
| <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency>
<dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> </dependency>
<dependency> <groupId>joda-time</groupId> <artifactId>joda-time</artifactId> <version>2.10.1</version> </dependency>
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> <exclusions> <exclusion> <groupId>org.junit.vintage</groupId> <artifactId>junit-vintage-engine</artifactId> </exclusion> </exclusions> </dependency> </dependencies>
|
添加配置
在 application.properties 文件添加配置
1
| spring.data.mongodb.uri=mongodb://192.168.56.10:27017/yygh
|
5.2.1 基于 MongoTemplate 开发 CRUD
添加实体
1 2 3 4 5 6 7 8 9 10 11
| @Data @Document("User") public class User {
@Id private String id; private String name; private Integer age; private String email; private String createDate; }
|
实现
常用方法
mongoTemplate.findAll(User.class): 查询 User 文档的全部数据
mongoTemplate.findById(, User.class): 查询 User 文档 id 为 id 的数据
mongoTemplate.find(query, User.class);: 根据 query 内的查询条件查询
mongoTemplate.upsert(query, update, User.class): 修改
mongoTemplate.remove(query, User.class): 删除
mongoTemplate.insert(User): 新增
Query 对象
1、创建一个 query 对象(用来封装所有条件对象),再创建一个 criteria 对象(用来构建条件)
2、精准条件:criteria.and(“key”).is(“条件”)
模糊条件:criteria.and(“key”).regex(“条件”)
3、封装条件:query.addCriteria(criteria)
4、大于(创建新的 criteria):Criteria gt = Criteria.where(“key”).gt(“条件”)
小于(创建新的 criteria):Criteria lt = Criteria.where(“key”).lt(“条件”)
5、Query.addCriteria(new Criteria().andOperator(gt,lt));
6、一个 query 中只能有一个 andOperator()。其参数也可以是 Criteria 数组。
7、排序 :query.with(new Sort(Sort.Direction.ASC, “age”). and(new Sort(Sort.Direction.DESC, “date”)))
添加测试类
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100
| @SpringBootTest class DemomogoApplicationTests {
@Autowired private MongoTemplate mongoTemplate;
@Test public void createUser() { User user = new User(); user.setAge(20); user.setName("test"); user.setEmail("4932200@qq.com"); User user1 = mongoTemplate.insert(user); System.out.println(user1); }
@Test public void findUser() { List<User> userList = mongoTemplate.findAll(User.class); System.out.println(userList); }
@Test public void getById() { User user = mongoTemplate.findById("5ffbfa2ac290f356edf9b5aa", User.class); System.out.println(user); }
@Test public void findUserList() { Query query = new Query(Criteria .where("name").is("test") .and("age").is(20)); List<User> userList = mongoTemplate.find(query, User.class); System.out.println(userList); }
@Test public void findUsersLikeName() { String name = "est"; String regex = String.format("%s%s%s", "^.*", name, ".*$"); Pattern pattern = Pattern.compile(regex, Pattern.CASE_INSENSITIVE); Query query = new Query(Criteria.where("name").regex(pattern)); List<User> userList = mongoTemplate.find(query, User.class); System.out.println(userList); }
@Test public void findUsersPage() { String name = "est"; int pageNo = 1; int pageSize = 10;
Query query = new Query(); String regex = String.format("%s%s%s", "^.*", name, ".*$"); Pattern pattern = Pattern.compile(regex, Pattern.CASE_INSENSITIVE); query.addCriteria(Criteria.where("name").regex(pattern)); int totalCount = (int) mongoTemplate.count(query, User.class); List<User> userList = mongoTemplate.find(query.skip((pageNo - 1) * pageSize).limit(pageSize), User.class);
Map<String, Object> pageMap = new HashMap<>(); pageMap.put("list", userList); pageMap.put("totalCount",totalCount); System.out.println(pageMap); }
@Test public void updateUser() { User user = mongoTemplate.findById("5ffbfa2ac290f356edf9b5aa", User.class); user.setName("test_1"); user.setAge(25); user.setEmail("493220990@qq.com"); Query query = new Query(Criteria.where("_id").is(user.getId())); Update update = new Update(); update.set("name", user.getName()); update.set("age", user.getAge()); update.set("email", user.getEmail()); UpdateResult result = mongoTemplate.upsert(query, update, User.class); long count = result.getModifiedCount(); System.out.println(count); }
@Test public void delete() { Query query = new Query(Criteria.where("_id").is("5ffbfa2ac290f356edf9b5aa")); DeleteResult result = mongoTemplate.remove(query, User.class); long count = result.getDeletedCount(); System.out.println(count); } }
|
5.2.2 基于 MongoRepository 开发 CRUD
Spring Data 提供了对 mongodb 数据访问的支持,我们只需要继承 MongoRepository 类,按照 Spring Data 规范就可以了
SpringData 方法定义规范
1、不是随便声明的,而需要符合一定的规范
2、 查询方法以 find | read | get 开头
3、 涉及条件查询时,条件的属性用条件关键字连接
4、 要注意的是:条件属性首字母需要大写
5、 支持属性的级联查询,但若当前类有符合条件的属性则优先使用,而不使用级联属性,若需要使用级联属性,则属性之间使用_强制进行连接
4.2 添加 Repository 类
添加 com.oy.mongodb.repository.UserRepository 类
1 2 3 4 5 6 7 8 9 10 11 12
| package com.oy.mongodb.repository;
import com.oy.mongodb.entity.User; import org.springframework.data.mongodb.repository.MongoRepository; import org.springframework.stereotype.Repository;
import java.util.List;
@Repository public interface UserRepository extends MongoRepository<User, String> {
}
|
4.3 添加测试类
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91
| @SpringBootTest class DemomogoApplicationTests1 {
@Autowired private UserRepository userRepository;
@Test public void createUser() { User user = new User(); user.setAge(20); user.setName("张三"); user.setEmail("3332200@qq.com"); User user1 = userRepository.save(user); }
@Test public void findUser() { List<User> userList = userRepository.findAll(); System.out.println(userList); }
@Test public void getById() { User user = userRepository.findById("5ffbfe8197f24a07007bd6ce").get(); System.out.println(user); }
@Test public void findUserList() { User user = new User(); user.setName("张三"); user.setAge(20); Example<User> userExample = Example.of(user); List<User> userList = userRepository.findAll(userExample); System.out.println(userList); }
@Test public void findUsersLikeName() { ExampleMatcher matcher = ExampleMatcher.matching() .withStringMatcher(ExampleMatcher.StringMatcher.CONTAINING) .withIgnoreCase(true); User user = new User(); user.setName("三"); Example<User> userExample = Example.of(user, matcher); List<User> userList = userRepository.findAll(userExample); System.out.println(userList); }
@Test public void findUsersPage() { Sort sort = Sort.by(Sort.Direction.DESC, "age");
Pageable pageable = PageRequest.of(0, 10, sort);
ExampleMatcher matcher = ExampleMatcher.matching() .withStringMatcher(ExampleMatcher.StringMatcher.CONTAINING) .withIgnoreCase(true); User user = new User(); user.setName("三");
Example<User> example = Example.of(user, matcher); Page<User> pages = userRepository.findAll(example, pageable); System.out.println(pages); }
@Test public void updateUser() { User user = userRepository.findById("5ffbfe8197f24a07007bd6ce").get(); user.setName("张三_1"); user.setAge(25); user.setEmail("883220990@qq.com"); User save = userRepository.save(user); System.out.println(save); }
@Test public void delete() { userRepository.deleteById("5ffbfe8197f24a07007bd6ce"); } }
|