V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
octocatami
0.13D
V2EX  ›  Java

结构化数据,数据量很大 2g 左右(不修改),如何设计数据结构,使得查询的时间和空间复杂度尽可能的低

  •  
  •   octocatami · 2019 年 6 月 30 日 · 4849 次点击
    这是一个创建于 2393 天前的主题,其中的信息可能已经有所发展或是发生改变。

    上忆条数据,每条数据都不大

    13 条回复    2019-07-01 15:23:42 +08:00
    zollum
        1
    zollum  
       2019 年 6 月 30 日 via Android
    存数据库
    v2exe2v
        2
    v2exe2v  
       2019 年 6 月 30 日
    DolphinDB 了解一下 https://www.dolphindb.cn/
    lihongjie0209
        3
    lihongjie0209  
       2019 年 6 月 30 日
    数据库, 建索引
    vjnjc
        4
    vjnjc  
       2019 年 6 月 30 日 via Android
    时间,空间只能选一。
    一般就是要查询快,建索引
    opengps
        5
    opengps  
       2019 年 6 月 30 日
    具体什么要求?关系型数据库还是非关系型?
    笼统说,上亿条数据虽然不少,但也不太大,算是个分水岭的位置
    dongyx
        6
    dongyx  
       2019 年 6 月 30 日
    楼主需要再多给点细节:

    1. 2G 是怎么定义的?数据的大小是和数据结构本身有关的,不同结构消耗的空间不一样,你说的 2G,具体是怎样的 2G。

    2. 查询是怎么定义的,数据是怎样的结构,需要的查询操作有哪些?比如要查哪些 field,只需要精确匹配吗?需要子串查询吗?正则吗?范围不等式查询吗?
    wukangave
        7
    wukangave  
       2019 年 6 月 30 日
    v2ex 下限越来越低了,提问的连需求都描述不清楚
    dcsite
        8
    dcsite  
       2019 年 6 月 30 日
    这点数据量, MYSQL + 索引 不就解决了么?
    txy3000
        9
    txy3000  
       2019 年 6 月 30 日 via Android
    2g 很大吗? 你全部加载放入内存都没问题对现代 PC 来说 redis 有 hash 结构 o(1)够快吧
    lookas2001
        10
    lookas2001  
       2019 年 7 月 1 日 via Android
    你的数据是关于啥的,以及你想查啥。
    不同场景有不同优化方案,楼主你需要先把需求说清了啊😂
    reus
        11
    reus  
       2019 年 7 月 1 日
    用 SQLite,99%都比你自己设计的好。
    fox0001
        12
    fox0001  
       2019 年 7 月 1 日 via Android
    歪个楼,导入 Solr,还能增强模糊查询
    zibber
        13
    zibber  
       2019 年 7 月 1 日
    es 一把梭
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2801 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 13:11 · PVG 21:11 · LAX 05:11 · JFK 08:11
    ♥ Do have faith in what you're doing.