Neo4jVector.from_existing_index doesn't find the vector index(created with the same embedding model)

Neo4j Graph Platform
, ,
1

I created a vector index in a Neo4j database and tested retrieval using the same embedding model:

from langchain_huggingface import HuggingFaceEmbeddings
from langchain_neo4j import Neo4jVector

embeddings = HuggingFaceEmbeddings(
    model_name="nlpai-lab/KURE-v1",
    model_kwargs={"device": "cuda"},
    encode_kwargs={"normalize_embeddings": True}
)

input = "시멘트 페이스트의 안정성이라 함은 시멘트 페이스트가 응결 후 부피를 유지하는 정도를 말한다. 시멘트 안정성이 떨어지면 응결 이후 팽창이 발생할 수 있다. 안정성의 평가를 위해서는 오토클레이브 팽창 시험을 한다."

url = "bolt://localhost:17687"

store = Neo4jVector.from_existing_index(
    url=url,
    username='neo4j',
    password='neo4j',
    embedding=embeddings,
    database='embedding',
    index_name="kure100k",
    embedding_node_property='emb_kurev1',
)

retriever = store.as_retriever()
documents = retriever.invoke(input)

The code above returns the following error:

Traceback (most recent call last):
File "/home/dh/code/langchain_test/neo4j_hybrid.py", line 24, in
store = Neo4jVector.from_existing_index(
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/dh/code/venv/py312/lib/python3.12/site-packages/langchain_neo4j/vectorstores/neo4j_vector.py", line 1008, in from_existing_index
raise ValueError(
ValueError: The provided embedding function and vector index dimensions do not match.
Embedding function dimension: 1024
Vector index dimension: 1536

However the following code runs well as expected:

from neo4j import GraphDatabase
from neo4j_graphrag.retrievers import HybridRetriever, VectorRetriever
from langchain_huggingface import HuggingFaceEmbeddings

URI = "neo4j://localhost:17687"
AUTH = ("neo4j", "neo4j")

embedder = HuggingFaceEmbeddings(
    model_name="nlpai-lab/KURE-v1",
    model_kwargs={"device": "cuda"},
    encode_kwargs={"normalize_embeddings": True}
)

emb = embedder.embed_query('test')
emb_dimension = len(emb)

driver = GraphDatabase.driver(URI, auth=AUTH)
retriever = VectorRetriever(
    driver=driver,
    neo4j_database="embedding",
    index_name="kure100k",
    embedder=embedder,
    return_properties=["text"],
)
query_text = "시멘트 페이스트의 안정성이라 함은 시멘트 페이스트가 응결 후 부피를 유지하는 정도를 말한다. 시멘트 안정성이 떨어지면 응결 이후 팽창이 발생할 수 있다. 안정성의 평가를 위해서는 오토클레이브 팽창 시험을 한다."

retriever_result = retriever.search(query_text=query_text, top_k=3)
print(retriever_result)

I posted this issue on github langchain-neo4j repo.