[BUG] 在ipython或者notebook中 import 工具包时报错: NameError: name 'exit' is not defined

[killa1218]

问题描述:
在ipython或者notebook中引入RKLLM包时会报奇怪的错误: name 'exit' is not defined. 但在python原生的interactive shell里面或者直接运行脚本就不会. 因为实际上是 rkllm_base.cpython-310-x86_64-linux-gnu.so 库文件中的代码报错, 所以需要麻烦开发者帮忙修复一下. 实际生活中应该还是会有不少同学会在notebook中使用的.

运行环境:
操作系统: Ubuntu 22.04.4 LTS@x86_64
Conda环境: Miniforge3-24.9.0
Python 版本: 3.10.15
pip 版本: 24.3.1

重现方式:

1. 创建python环境并激活: conda create -n llm python=3.10.15 && conda activate llm
2. 运行 pip install rknn-llm/rkllm-toolkit/packages/rkllm_toolkit-1.1.2-cp310-cp310-linux_x86_64.whl 安装toolkit和依赖
3. 安装ipython并运行: pip install ipython && ipython
4. 在ipython中引入RKLLM类: from rkllm.api import RKLLM

期望结果: 正常import

[waydong]

hi，我们会在下个小版本中修复此问题，谢谢！

[killa1218]

hi，我们会在下个小版本中修复此问题，谢谢！

感谢~ 期待发版

[yikexiaoxing]

@waydong 请问在下个版本中是否支持多并发请求的处理？