引言
在大数据时代,选择一个高性能的分析数据库对业务的成功至关重要。StarRocks作为一款次世代MPP(Massively Parallel Processing)数据库,以其卓越的实时分析和多维分析能力而闻名。本篇文章将带您探讨StarRocks的安装与使用,并探讨其作为快速向量数据库的潜力。
什么是StarRocks
StarRocks是一种高度并行的分析数据库管理系统,专为多维分析、实时分析和临时查询而设计。它凭借其向量化执行引擎,在ClickBench基准测试中展现了卓越的性能,被广泛应用于各种分析场景。
特性与优势
子秒查询响应:利用向量化引擎,StarRocks可以提供极快的查询响应时间。
多维度分析:支持高效处理多维度的数据分析任务。
实时分析:具备强大的实时数据分析能力,适合动态数据场景。
灵活的查询能力:支持复杂的ad-hoc查询,适合多种业务需求。
下载
文中使用版本为3.2.4,可通过官网自行下载
准备部署文件 | StarRocks
文章中使用的是存算一体架构,starrocks也支持存算分离架构
安装与配置
要开始使用StarRocks,我们首先需要设置必要的软件环境。以下是安装步骤:- # 安装Python MySQL客户端
- pip install pymysql
复制代码 测试语句
- CREATE DATABASE example_db;
- USE example_db;
- -- 新建用户并授权
- create user 'testuser'@'%' IDENTIFIED by '123456';
- GRANT all ON databasename.* TO 'testuser'@'%';
- -- 仅包含一个 BE,所以需要加PROPERTIES( "replication_num" = "1" )
- CREATE TABLE user_access (
- uid int,
- name varchar(64),
- age int,
- phone varchar(16),
- last_access datetime,
- credits double
- )
- PROPERTIES( "replication_num" = "1" );
- CREATE TABLE orders1 (
- order_id bigint NOT NULL,
- dt date NOT NULL,
- user_id INT NOT NULL,
- good_id INT NOT NULL,
- cnt int NOT NULL,
- revenue int NOT NULL
- )
- PRIMARY KEY (order_id)
- DISTRIBUTED BY HASH (order_id)
- PROPERTIES( "replication_num" = "1" )
- ;
- CREATE TABLE orders2 (
- order_id bigint NOT NULL,
- dt date NOT NULL,
- merchant_id int NOT NULL,
- user_id int NOT NULL,
- good_id int NOT NULL,
- good_name string NOT NULL,
- price int NOT NULL,
- cnt int NOT NULL,
- revenue int NOT NULL,
- state tinyint NOT NULL
- )
- PRIMARY KEY (order_id,dt,merchant_id)
- PARTITION BY date_trunc('day', dt)
- DISTRIBUTED BY HASH (merchant_id)
- ORDER BY (dt,merchant_id)
- PROPERTIES (
- "enable_persistent_index" = "true",
- "replication_num" = "1"
- );
- CREATE TABLE detail (
- event_time DATETIME NOT NULL COMMENT "datetime of event",
- event_type INT NOT NULL COMMENT "type of event",
- user_id INT COMMENT "id of user",
- device_code INT COMMENT "device code",
- channel INT COMMENT "")
- ORDER BY (event_time, event_type)
- PROPERTIES( "replication_num" = "1" );
- CREATE TABLE aggregate_tbl (
- site_id LARGEINT NOT NULL COMMENT "id of site",
- date DATE NOT NULL COMMENT "time of event",
- city_code VARCHAR(20) COMMENT "city_code of user",
- pv BIGINT SUM DEFAULT "0" COMMENT "total page views"
- )
- AGGREGATE KEY(site_id, date, city_code)
- DISTRIBUTED BY HASH(site_id)
- PROPERTIES( "replication_num" = "1" );
- CREATE TABLE orders4 (
- create_time DATE NOT NULL COMMENT "create time of an order",
- order_id BIGINT NOT NULL COMMENT "id of an order",
- order_state INT COMMENT "state of an order",
- total_price BIGINT COMMENT "price of an order"
- )
- UNIQUE KEY(create_time, order_id)
- DISTRIBUTED BY HASH(order_id);
- PROPERTIES( "replication_num" = "1" );
- DESCRIBE user_access;
- SHOW CREATE TABLE user_access;
- -- 从本地文件导入数据
- CREATE TABLE `table1`
- (
- `id` int(11) NOT NULL COMMENT "用户 ID",
- `name` varchar(65533) NULL COMMENT "用户姓名",
- `score` int(11) NOT NULL COMMENT "用户得分"
- )
- ENGINE=OLAP
- PRIMARY KEY(`id`)
- DISTRIBUTED BY HASH(`id`)
- PROPERTIES( "replication_num" = "1" );
- -- 查看 FE 节点的 IP 地址和 HTTP 端口号。
- SHOW FRONTENDS;
- -- 导入作业
- curl --location-trusted -u root: -H "label:123" -H "Expect:100-continue" -H "column_separator:," -H "columns: id, name, score" -T D:\\data\\test.csv -XPUT http://192.168.5.66:8030/api/example_db/table1/_stream_load
- select * from table1;
复制代码
接下来,我们将使用一个例子来说明如何在Python中使用StarRocks库。
代码示例
假设我们想要在StarRocks中储存和查询向量数据。以下是一个简单的使用示例:- from langchain_community.vectorstores import StarRocks
- # 假设我们通过API代理服务连接到StarRocks数据库
- starrocks_client = StarRocks(api_endpoint="{AI_URL}") # 使用API代理服务提高访问稳定性
- # 插入样本向量数据
- vector_data = [0.1, 0.2, 0.3, 0.4]
- starrocks_client.insert_vector("your_vector_table", vector_data)
- # 查询向量
- query_result = starrocks_client.query_vector("your_vector_table", query_vector=[0.1, 0.2, 0.3])
- print("Query Result:", query_result)
复制代码 这段代码展示了如何连接到StarRocks数据库并执行基本的向量插入和查询操作。
常见问题和解决方案
连接超时:在某些地区,由于网络限制,API调用可能会超时。建议使用API代理服务来提高连接的稳定性和速度。
数据插入失败:检查数据库权限设置,并确保数据格式与表结构相匹配。
总结与进一步学习资源
StarRocks作为高性能分析数据库,在实时数据处理和复杂查询场景中展现出色表现。对于想要深入了解StarRocks的开发者,可以参考以下资源:
通过这些学习资源,您可以获得更多关于StarRocks配置、优化和使用场景的深入知识。
参考资料
以上就是高性能分析数据库StarRocks的安装与使用详解的详细内容,更多关于StarRocks数据库安装的资料请关注脚本之家其它相关文章!
来源:https://www.jb51.net/database/337215946.htm
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作! |