精华内容
下载资源
问答
  • 安装MongoDB的方法有多种,可以源代码安装,在Centos也可以用yum源安装的方法。由于MongoDB更新得比较快,我比较喜欢用yum源安装的方法。64位Centos下的安装步骤如下: 1、准备工作 运行yum命令查看MongoDB的包...

    安装MongoDB的方法有很多种,可以源代码安装,在Centos也可以用yum源安装的方法。由于MongoDB更新得比较快,我比较喜欢用yum源安装的方法。64位Centos下的安装步骤如下:

    1、准备工作

    运行yum命令查看MongoDB的包信息 [root@localhost~]# yum info mongo-10gen

    (提示没有相关匹配的信息,) 说明你的centos系统中的yum源不包含MongoDB的相关资源,所以要在使用yum命令安装MongoDB前需要增加yum源,也就是在 /etc/yum.repos.d/目录中增加 *.repo yum源配置文件

    2、vi /etc/yum.repos.d/10gen.repo,输入下面的语句:

    [10gen]

    name=10gen Repository

    baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64

    gpgcheck=0

    做好yum源的配置后,如果配置正确执行下面的命令便可以查询MongoDB相关的信息:

    查看mongoDB的服务器包的信息

    [root@localhost geffzhang]# yum info mongo-10gen-server
    * base: centos.ustc.edu.cn
    * extras: centos.ustc.edu.cn
    * updates: centos.ustc.edu.cn
    Installed Packages
    Name        : mongo-10gen-server
    Arch        : x86_64
    Version     : 2.0.6
    Release     : mongodb_1
    Size        : 13 M
    Repo        : installed
    From repo   : 10gen
    Summary     : mongo server, sharding server, and support scripts
    URL         : http://www.mongodb.org
    License     : AGPL 3.0
    Description : Mongo (from "huMONGOus") is a schema-free document-oriented
                : database.
                :
                : This package provides the mongo server software, mongo sharding
                : server softwware, default configuration files, and init.d scripts.
    查看客户端安装情况
    [root@localhost geffzhang]# 

    * base: centos.ustc.edu.cn
    * extras: centos.ustc.edu.cn
    * updates: centos.ustc.edu.cn
    Installed Packages
    Name        : mongo-10gen
    Arch        : x86_64
    Version     : 2.0.6
    Release     : mongodb_1
    Size        : 69 M
    Repo        : installed
    From repo   : 10gen
    Summary     : mongo client shell and tools
    URL         : http://www.mongodb.org
    License     : AGPL 3.0
    Description : Mongo (from "huMONGOus") is a schema-free document-oriented
                : database. It features dynamic profileable queries, full indexing,
                : replication and fail-over support, efficient storage of large
                : binary data objects, and auto-sharding.
                :
                : This package provides the mongo shell, import/export tools, and
                : other client utilities.

    3、安装MongoDB的服务器端和客户端工具 
    [root@localhost geffzhang]#  yum install mongo-10gen-server

    [root@localhost geffzhang]#  yum install mongo-10gen

    4、启动Mongodb

    service mongod start

    以后有更新了,停掉mongodb,执行yum update mongo-10gen mongo-10gen-server 即可。

    5、服务器配置: /etc/mongod.conf

    # mongo.conf  
    #where to log  
    logpath=/var/log/mongo/mongod.log  
    logappend=true #以追加方式写入日志  
    # fork and run in background  
    fork = true 
    #port = 27017 #端口  
    dbpath=/var/lib/mongo #数据库文件保存位置  
    directoryperdb=true
    # Enables periodic logging of CPU utilization and I/O wait  
    #启用定期记录CPU利用率和 I/O 等待  
    #cpu = true 
    # Turn on/off security.  Off is currently the default 
    # 是否以安全认证方式运行,默认是不认证的非安全方式  
    #noauth = true 
    #auth = true 
    # Verbose logging output.  
    # 详细记录输出  
    #verbose = true 
    # Inspect all client data for validity on receipt (useful for 
    # developing drivers)用于开发驱动程序时的检查客户端接收数据的有效性  
    #objcheck = true 
    # Enable db quota management 启用数据库配额管理,默认每个db可以有8个文件,可以用quotaFiles参数设置  
    #quota = true 
    # 设置oplog记录等级  
    # Set oplogging level where n is  
    #   0=off (default)  
    #   1=W  
    #   2=R  
    #   3=both  
    #   7=W+some reads  
    #oplog = 0 
    # Diagnostic/debugging option 动态调试项  
    #nocursors = true 
    # Ignore query hints 忽略查询提示  
    #nohints = true 
    # 禁用http界面,默认为localhost:28017 
    # Disable the HTTP interface (Defaults to localhost:27018).这个端口号写的是错的  
    #nohttpinterface = true 
    # 关闭服务器端脚本,这将极大的限制功能  
    # Turns off server-side scripting.  This will result in greatly limited  
    # functionality  
    #noscripting = true 
    # 关闭扫描表,任何查询将会是扫描失败  
    # Turns off table scans.  Any query that would do a table scan fails.  
    #notablescan = true 
    # 关闭数据文件预分配  
    # Disable data file preallocation.  
    #noprealloc = true 
    # 为新数据库指定.ns文件的大小,单位:MB  
    # Specify .ns file size for new databases.  
    # nssize = <size>  
    # Accout token for Mongo monitoring server.  
    #mms-token = <token>  
    # mongo监控服务器的名称  
    # Server name for Mongo monitoring server.  
    #mms-name = <server-name>  
    # mongo监控服务器的ping 间隔  
    # Ping interval for Mongo monitoring server.  
    #mms-interval = <seconds>  
    # Replication Options 复制选项  
    # in replicated mongo databases, specify here whether this is a slave or master 在复制中,指定当前是从属关系  
    #slave = true 
    #source = master.example.com  
    # Slave only: specify a single database to replicate  
    #only = master.example.com  
    # or  
    #master = true 
    #source = slave.example.com 

    转载于:https://www.cnblogs.com/chaoren399/p/4744887.html

    展开全文
  • 【昊鼎王五】Mongodb如何使用内存才是正常充分的? MongoDB要想速度快,就要充分的使用内存, 所以Mongodb设计之初就是启动时就吃...上面图中,一个mongod所占用的缓存就是一百GB,所以,一台机器基本上承载两个mong...

    【昊鼎王五】Mongodb如何使用内存才是正常充分的?

    MongoDB要想速度快,就要充分的使用内存,
    所以Mongodb设计之初就是启动时就吃很多内存,然后留给自己。
    表现在top进程管理器中就是:
    机器所剩余的内存:free很小
    机器的buff/cache很大。
    VIRT占用的很大,
    如下图,典型案例:
    在这里插入图片描述

    上面图中,一个mongod所占用的虚拟内存就是一百GB,所以,一台机器基本上承载两个mongod就算到顶了。
    建议那些启动了三个以上mongod进程的机器的运维人员,你们看看MONGODB内存使用是不是出现了问题,还是机器出现了问题。
    因为一旦MONGDB没有充分使用内存,那么很可能表现出来就是CPU报警,IO报警。如下图:

    CPU load is too high and availability is less than 10% on 
    Processor load is too high on
    Disk I/O is overloaded on XXX
    
    展开全文
  • golang优秀实用开源项目收集

    千次阅读 2016-04-15 17:52:07
    golang多开源项目,铺天盖地,却少有官方版。有时候真是选择乏力,选择一个优秀的流行的组件,能少走多弯路。 整理一些最为出名和好用的开源组件(持续更新) ... go get go.mongodb.org/mong...

    golang很多开源项目,铺天盖地,却很少有官方版。有时候真是选择乏力,选择一个优秀的流行的组件,能少走很多弯路。

    整理一些最为出名和好用的开源组件(持续更新)

    1.web框架

    • beego

      go get github.com/astaxie/beego

      http://beego.me

     

    2.数据库

    • mongo

      go get go.mongodb.org/mongo-driver/mongo

      https://godoc.org/go.mongodb.org/mongo-driver/mongo

    • mysql

      go get github.com/go-sql-driver/mysql

      https://godoc.org/github.com/go-sql-driver/mysql

    • postgresql

      go get github.com/go-pg/pg

      https://godoc.org/github.com/go-pg/pg

     

    3.缓存

    • redis

      go get github.com/go-redis/redis

      https://godoc.org/github.com/go-redis/redis

    • memcache

      go get github.com/bradfitz/gomemcache/memcache

      https://godoc.org/github.com/bradfitz/gomemcache/memcache

     

    4.MQ

    • go-nsq

      go get github.com/nsqio/go-nsq

      https://godoc.org/github.com/nsqio/go-nsq

      go-nsq是nsq的golang client包,nsq集群更多资料 http://nsq.io/

    https://godoc.org/       everything is here!

    5.书籍

    • 入门

      《Go语言程序设计》

      中规中矩的教科书套路,附有习题,详细全面,适合入门,但新手很难看出什么是重点

      《学习Go语言》快速入门,不如上一本全面

    • 进阶

     

                《Go语言圣经》重点突出,例子很到位,除了错别字比较多(不会影响阅读),堪称圣经

     

     

     

     

     

     

     

    展开全文
  • 一:前言上周末非常开心,第一次去北京然后参见了zealer和夸克浏览器...夸克浏览器.jpg夸克浏览器合影.JPG这次爬虫是使用selenium来模拟输入关键字(我是测试输入各种图书)然后把全部页数的相关的商品数据保存到mong...

    一:前言

    上周末非常开心,第一次去北京然后参见了zealer和夸克浏览器的联合线下沙龙会议,和大家交流很多收获很多,最让我吃惊的是他们团队非常年轻就有各种能力,每个人都很强。一个结论:我要继续努力!

    贴上我们的合影,我很帅!:)

    6fe5efb87f83

    zealer&夸克浏览器.jpg

    6fe5efb87f83

    夸克浏览器合影.JPG

    这次爬虫是使用selenium来模拟输入关键字(我是测试输入各种图书)然后把全部页数的相关的商品数据保存到mongodb,期间遇到各种问题,很多网站不是很容易就一次可以把网页解析好,很轻松的提取数据。这个亚马逊就是有点怪,这次是提取商品的名称,图片地址,价格,时间,因为我的初始目的是出入有关图书的关键字,所以时间就是图书出版时间。

    关于‘python’关键字如图所示,爬取了300条数据。

    6fe5efb87f83

    mongodb数据.png

    二:运行环境

    IDE:Pycharm

    Python3.6

    Selenium 3.4.0

    pymongo 3.3.0

    BeautifulSoup 4.5.3

    三: 爬虫中重要(keng)的部分

    商品的时间使用Beautifulsoup是提取不出来的,使用正则表达式也搞不定,我最后用xpath才提取出来

    每个商品框架都是独立id,没有使用共同的class,所以要想获取他们使用正则表达式挺合适的

    因为商品的名称,图片地址,价格这三个是使用beautifulsoup提取的,而时间是用的xpath提取,要想把他们一起装入一个字典中然后写入mongodb就需要用到zip这个函数了。

    像这样的处理两个列表一起迭代for item, time in zip(content, date)

    四:实战代码

    from selenium.common.exceptions import TimeoutException

    from selenium.webdriver.common.by import By

    from selenium.webdriver.support import expected_conditions as EC

    from selenium.webdriver.support.ui import WebDriverWait

    from selenium import webdriver

    from bs4 import BeautifulSoup

    import lxml.html

    import pymongo

    import re

    MONGO_URL = 'localhost'

    MONGO_DB = 'amazon'

    MONGO_TABLE = 'amazon-python'

    SERVICE_ARGS = ['--load-images=false', '--disk-cache=true']

    KEYWORD = 'python'

    client = pymongo.MongoClient(MONGO_URL)

    db = client[MONGO_DB]

    browser = webdriver.PhantomJS(service_args=SERVICE_ARGS)

    # browser = webdriver.Firefox()

    wait = WebDriverWait(browser, 10)

    browser.set_window_size(1400, 900)

    def search():

    print('正在搜索')

    try:

    browser.get('https://www.amazon.cn/')

    input = wait.until(

    EC.presence_of_element_located((By.CSS_SELECTOR, '#twotabsearchtextbox'))

    )

    submit = wait.until(

    EC.element_to_be_clickable((By.CSS_SELECTOR, '#nav-search > form > div.nav-right > div > input')))

    input.send_keys(KEYWORD)

    submit.click()

    total = wait.until(

    EC.presence_of_element_located((By.CSS_SELECTOR, '#pagn > span.pagnDisabled')))

    get_products()

    print('一共' + total.text + '页')

    return total.text

    except TimeoutException:

    return search()

    def next_page(number):

    print('正在翻页', number)

    try:

    wait.until(EC.text_to_be_present_in_element(

    (By.CSS_SELECTOR, '#pagnNextString'), '下一页'))

    submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#pagnNextString')))

    submit.click()

    wait.until(EC.text_to_be_present_in_element(

    (By.CSS_SELECTOR, '.pagnCur'), str(number)))

    get_products()

    except TimeoutException:

    next_page(number)

    def get_products():

    try:

    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#s-results-list-atf')))

    html = browser.page_source

    soup = BeautifulSoup(html, 'lxml')

    doc = lxml.html.fromstring(html)

    date = doc.xpath('//*[@class="s-result-item celwidget "]/div/div[2]/div[1]/span[2]/text()')

    content = soup.find_all(attrs={"id": re.compile(r'result_\d+')})

    for item, time in zip(content, date):

    product = {

    'title': item.find(class_='s-access-title').get_text(),

    'image': item.find(class_='s-access-image cfMarker').get('src'),

    'price': item.find(class_='a-size-base a-color-price s-price a-text-bold').get_text(),

    'date': time

    }

    save_to_mongo(product)

    print(product)

    except Exception as e:

    print(e)

    def save_to_mongo(result):

    try:

    if db[MONGO_TABLE].insert(result):

    print('存储到mongodb成功', result)

    except Exception:

    print('存储到mongodb失败', result)

    def main():

    try:

    total = int(search())

    for i in range(2, total + 1):

    next_page(i)

    except Exception as e:

    print('出错啦', e)

    finally:

    browser.close()

    if __name__ == '__main__':

    main()

    五:总结

    这次学习的东西还是很多,selenium用的模块很多,也利用了无头浏览器PhantomJS的不加载图片和缓存。爬取数据的时候使用了不同的方式,并用zip函数一起迭代保存为字典成功导入到mongodb中。

    贴出我的github地址,我的爬虫代码和学习的基础部分都放进去了,有喜欢的朋友一起学习交流吧!

    展开全文
  • Python与MongoDB

    2017-08-17 16:37:58
    python运用MongoDB方便 安装: ~$ sudo apt-get install mongodb ~$ mongo –version 卸载:~$ sudo apt-get --purge remove mongodb mongodb-clients mongodb-server 安装pymongo:pip install ...
  • 作者:前程序员陈彼得来自:人工智能爱好者社区采访 1:程 序 员 多 久 关 一 次 电 脑 ?程序员 A你知不知道我每天开多少东西?我需要多数据库的连接、2个MySQL、1个Mong...
  • 之前对于spring的mongoTemplate真的是有点又爱又恨,由于它对mongodb的驱动做了一层封装,使得在开发的时候方便了许多,但是它的语法和mongo的原生js有大不同,有时候在mongo官方文档里的API接口多时候在mongo...
  • 实战mongodb存取icbase

    2014-02-19 11:15:18
    sudo apt-get install mongodb 会安装多依赖的包 安装完后会自动启动服务 开始:sudo service mongodb start 停止:sudo service mongodb stop xiaofei@xiaofei-desktop:~$ ps aux | grep mong...
  • 1.mongoTemplate.findById(id, clazz, collectionName) 根据主键_id查询报nested exception is java.lang.NoClassDefFoundError...问题是奇怪。有些_id能查出来,没问题。有些_id查就报上边的错。3.数据库用的mong...
  • 1.mongoTemplate.findById(id, clazz, collectionName) 根据主键_id查询报nested exception is java.lang.NoClassDefFoundError...问题是奇怪。有些_id能查出来,没问题。有些_id查就报上边的错。3.数据库用的mong...
  • Sharding cluster介绍 ...这是一种可以水平扩展的模式,在数据量大时特给力,实际大规模应用一般会采用这种架构去构建monodb系统。  要构建一个 MongoDB Sharding Cluster,需要三种角色: Shard Server: mong
  • 使用pymongo实现mongodb分片的示例

    千次阅读 2018-04-12 16:57:22
    通常有将大文本数据存入mongodb的需求,由于数据量大,...这个操作使用mongodb shell能够方便的完成,但当我们使用python进行数据导入操作的时候,就必须通过pymongo进行,以下是pymongo允许分片的例子 mong...
  • MongoDB_MongoDB事务

    2017-09-26 19:53:07
    在现实世界中,有多场景都会用到事务这个特性,这也是NoSQL横行下传统RDBMS仍占统治地位的原因,近日MongoDB公司Antoine分享了5个解决方案,用...近日,MongoDB公司的Antoine Girbal在其个人博客上撰文,分享了在Mong
  • 在工作中使用到了MongoDB,平时也看了一些资料,感觉MongoDB官网内develop zone有个不错的manual,多资料都可以查到,地址如下:... 另外,本blog主要记录一下使用mong...
  • baidu_tieba_crawler 演示地址 http://www.femirror.com/index服务器慢,请原谅 使用说明书 !!!爬虫类的东东还是友善使用 程序运行不起来就要检查下 以下接口是否替换 ~ 代理的api接口 mongo...├─model mong...
  • mongo(三)基本操作

    2016-05-20 15:24:18
    本文来自mongodb官方文档的部分翻译以及自己的理解。 CRUD:增加(Create)、读取(Retrieve)(重新得到数据)、更新(Update)和删除(Delete)几个单词的首字母简写。 mongodb是以文件形式存储数据的,像json一样...mong...
  • rabbitmq 消息队列堆积问题

    千次阅读 2019-08-09 14:04:09
    项目遇到mongo数据恢复的问题,首先我从原项目中将数据导出,然后恢复到指定的服务器,...这时我查看系统的cup的使用率,发现mongo这个进程的使用率高,内存使用率也高,这时,我使用命令db.currentOp()查看Mong...
  • MongoDB 是最早热门非关系数据库的之一,使用也比较普遍,一般会用做离线数据分析来使用,放到内网的居多。由于多公司使用了云服务,服务器默认都开放了外网地址,导致...同时也说明了多公司生产中大量使用mong...
  • 由于多公司使用了云服务,服务器默认都开放了外网地址,导致前一阵子大批MongoDB因配置漏洞被攻击,数据被删,引起了人们的注意,感兴趣的可以看看这篇文章:场屠戮MongoDB的盛宴反思:超33000个数据库遭遇入侵...
  • 根据错误提示得知是由于当前数据库引擎不支持32系统所导致的,解决这个问题简单,只要切换下MongoDB的默认数据库引擎即可,当然最好是升级到64位系统,毕竟没有2GB的限制而且新引擎的性能也有大的提升。...
  • 最近项目使用到spring boot,需要集成mongodb、solr、redis等数据源,使用强大的spring data,还是简单的,分享一下经验。spring boot推崇领配置,所以所有配置在application.properties中完成。mongodb、solr、...
  • 转文:原文 1 mongoose简介 在使用mongodb数据库开发项目中,nodejs环境下可能会使用到mongoose模块连接并操作mongodb数据库。mongoose模块相当于Java中的数据库驱动,例如mysql-connector-...npm install mong...
  • spring-data-mongodb两种实现方式对比

    万次阅读 2018-11-05 17:13:11
      之前介绍过springboot和mongodb整合,使用了spring-data-mongodb,因为springboot注解和自动化配置,我们少了多配置,这里介绍spring整合mongodb,使用的仍然是spring-data-mongodb,这里需要配置一个spring-...
  • 问题 将Mongodb安装在了E盘,然后通过cmd输入 mongod --dbpath E:\MongoDB\data 可以启动mongodb,但是查看服务,但发现MongoDB服务并没有启动 而且,手动开启服务竟然报错 ...心想,既然默认有Mong...
  • 由于多公司使用了云服务,服务器默认都开放了外网地址,导致前一阵子大批 MongoDB 因配置漏洞被攻击,数据被删,引起了人们的注意,感兴趣的可以看看这篇文章:场屠戮MongoDB的盛宴反思:超33000个数据库遭遇入侵...
  • 由于多公司使用了云服务,服务器默认都开放了外网地址,导致前一阵子大批 MongoDB 因配置漏洞被攻击,数据被删,引起了人们的注意,感兴趣的可以看看这篇文章:场屠戮MongoDB的盛宴反思:超33000个数据库遭遇入侵...

空空如也

空空如也

1 2 3 4 5 ... 7
收藏数 124
精华内容 49
关键字:

很mong